听了哈密嗤的话，金兀术心中好过许多，他气不过的原因就怕众将私下里嘀咕，说自己不是岳飞的敌手，使自己的威信受到诋毁，听哈密嗤在众将面前说出岳飞诈败的话来，也算是给自己脸上贴金，有这样的台阶，还不赶紧借坡下驴，等待何时？故而，他长哼一声：“哼……气死本王，若是再让我碰上岳飞，本王定要将他碎尸万段，挫骨扬灰！”
休养四五日后，金兀术命沙古质为前锋，在“神威霹雳子”的配合下，强行攻打石门关，岳飞在缺兵无粮的情况下，顶住了金兵一轮又一轮的进攻，可是，八百精壮男儿毕竟是血肉之躯，没有后援，没有粮饷，如何能支撑下去，眼看守关士卒死伤惨重，岳飞只得命令兵士撤出石门关。此时，要想撤退也非常艰难，如果退回卫州，无疑给金兀术带路，一旦卫州失守，南京门户洞开，应天府就会失去屏障，今日就算八百人全部战死，也决不能退回卫州。
岳飞斟酌再三，还是往山里撤，利用熟悉的地形，险要的隘口，在太行山区与金兵周旋，保存实力，等待时机。就这样，岳飞带着仅有的八百伤残部众转战在太行山脉，保护山区的百姓，休整自己的部众。
石门关一破，金兀术的十万大军很快兵临卫州城下，张翼、白安民听说岳飞兵败石门关，奉劝王彦撤出卫城，王彦权衡再三，还是听从众将所言，将七千多人撤进深山，拱手将卫州城交给金兀术。沿途百姓都骂王彦是贪生怕死之辈，王彦为了表达自己誓死抗击金兵的决心，从自己开始，让所有人在脸上刻上“赤心报国，誓杀金贼”八个字，后人称之为八字军。