强马壮，数量众多，可以御敌，可堪大任，徽宗皇帝竟然为了节省开支，裁剪掉了靠近燕京地区的内地兵马，将防御北部边关的重任，全部交给了郭药师。
这个情况让王安中更加不安。王安中心想，朝廷裁减了内地兵马，把防御北部边关的希望全寄托在郭药师身上了，万一郭药师有异动，投靠了金国，朝廷在北部边关及内地就无边可防了，金国兵马就可以长驱直入，直达汴京，后果不堪设想。故此，王安中仍然坚持给徽宗皇帝上秘折，笃定地认为郭药师不可靠，必须要有所防备。
朝中一些大臣也听到了一些传言，纷纷上奏徽宗皇帝，要求撤换郭药师；特别是郑居中，竟然上折要求徽宗，要求将赵良嗣从湖南永州召回来，官复原职，负责修复朝廷与金国的关系。
郑居中的奏折惹得徽宗皇帝大怒，专门将郑居中召至宫中，一顿训斥：“你奏请将郭药师撤换，居心何在？将来宋金之间若有战事，你率兵马去打仗吗？赵良嗣反对张觉献城归顺，与朝廷不一条心，朕贬他还贬错了吗？不看在亲戚的份上，朕将你也贬至湖南，与赵良嗣那厮作伴去！”
郑居中被骂，心里谁不服气，但一点脾气也没有，只得自认倒霉，后悔不该上那份奏折。
这个时候，詹度竟然截获了郭药师与金国串通的书信。原来，郭药师见金国兵马强盛，且有南下意向，便于金国对接，想在宋金两国之间投机。郭药师与金国串通的书信被詹度截获后，詹度如获至宝，连忙派人送往朝廷，并给徽宗皇帝上了一折。
奏折中，詹度道：“郭药师看东西的神态不同寻常，怀有异心，长着蜂眼鸟嘴，依仗自己受宠和有功，已萌生反谋，日益凶恶蛮横；以前，听说他与金人交结，背叛朝廷，臣已多次奏稟圣上。如今，郭药师与金人勾连的书信，也被臣截获。事实证明，金宋间若发生战事，郭药师必率武泰军投靠金国，将制造祸乱，希望朝廷早做防备。”
接到詹度奏折，又看了郭药师与金人勾连的书信，徽宗皇帝才对郭药师有了怀疑，不再信任，除了下旨派官追查核实外，并未采取进一步的措施。
徽宗皇帝派去追查核实的官员，落实了郭药师与金国勾连的事情，回报给了徽宗皇帝；令人想不到的是，在此情况下，徽宗皇帝采取的做法不是赶紧将郭药师撤职或调回京师，而是做出更多的许愿，包括将来封他为燕王。徽宗皇帝想用更大的利益哄住郭药师，让郭药师死心塌地地为朝廷效力。
对欲做三姓家奴的郭药师来讲，谁强势便投靠谁，绝不会因为一些利益就去舍命的。郭药师没有那么高的境界。
果然，在接下来的时间里，金国派兵马伐宋，接连攻破檀、蓟二州，前锋兵马抵达玉田。郭药师率兵抵抗，结果败北，逃回燕山府。金兵随即围困