外敵難以撼動的嶽傢軍，卻遭到瞭南宋朝廷內部投降派的摧殘。
就在這抗金戰爭取得輝煌勝利的時刻，甘心充當兒皇帝的高宗趙構，因擔心一旦中原收復，金人放回他的哥哥欽宗，他就保不住皇位，而急切地希望與金入議和。
金人安插在南宋朝廷裡竊取瞭宰相高位的內奸秦檢，也抓住高宗這個難言的心病大肆活動，破壞嶽飛的抗戰。他們狼狽為奸，密謀制訂瞭全線撤軍、葬送抗金大好形勢的罪惡計劃。他們首先命令東西兩線收兵，造成嶽傢軍孤軍突出的不利態勢後；即以“孤軍不可久留”為名，連下十二道金牌(紅漆金字木牌)，急令嶽飛“措置班師”。
在要麼“班師”、要麼“喪師”的不利形勢下，嶽飛明知這是權臣用事的亂命。但為瞭保存抗金實力，不得不忍痛班師。嶽飛憤慨地說；“十年之功，廢於一旦!所得諸郡，一朝全休！社稽江山，難以中興!乾坤世界，無由再復!”嶽飛的抗金英勇鬥爭，至此被迫中斷。
嶽傢軍班師時，久久渴望王師北定中原的父老兄弟，攔道慟哭。嶽飛為瞭保護老百姓的生命財產，故意揚言明日渡河，嚇得金兀術連夜棄城北竄，準備北渡黃河，使嶽飛得以從容地組織河南大批人民群眾南遷到襄漢一帶，才撤離中原。