紹興十一年（1141年）二月，晉人再次率軍攻打宋朝，直指梁淮地區，不久入侵瀘州（今安徽合肥），來勢洶洶。 張鈞派兵渡河迎敵。 先頭部隊王德軍先攻占賀州（今安徽和縣），再擊敗晉將韓長玉寒山，收復昭關。 後來，王德、楊存忠、劉琦等將領在浙高（今安徽潮縣西北部浙高鎮）伏擊晉軍，取得了大勝。 這時岳飛也率軍援手，師團前往瀘州，晉兵避風而逃。 張軍通知岳飛，敵人已經撤退，沒有必要再前進了，岳飛返回蜀州（今安徽）待命。 但不久，金無術陣亡，突破了濠州（今安徽鳳陽東北），王德和楊存忠在濠州城西遭到晉軍伏擊，敗敗歸來，楊存忠率領的宮前三萬餘人幾乎全軍覆沒。 岳飛聞訊，帶兵前來援手，晉軍在浩州大肆燒掠之後，已經自行撤退了。
哲高的工作受到大家的稱讚; 而打敗昊州，是大家的責任。 宋朝廷沒有追究昊州戰敗的責任，而是談起了“哲高”的功勞，追授了張俊步在紹興戰敗晉軍十年之久。 於是張軍拜上了樞密使，手下王德等六人當天率先領獎。 韓世忠和岳飛也同時晉公升為樞密院副使，張、韓、嶽三人同時被解除軍權。 原來，賞識“哲高”的功勞，暗中提拔張、韓、嶽三將軍，奪取他們的軍權，是趙苟和秦暉蓄謀已久的陰謀。 張軍是將領中年紀最大的，也是趙苟最欣賞的。 他與秦暉的關係也很密切。 秦暉在奪取三將軍的軍權之前，曾與張軍秘密商量過，也就是在三將軍的軍權除去之後，就允許張軍率領天下所有的兵馬。 所以，當宋朝廷賞賞“哲高”的功勞時，張軍是第乙個率先將軍權交給趙苟的人。
張軍和岳飛早就矛盾了。 岳飛後來公升職，軍紀嚴明，英勇善戰，成績斐然，晉公升極快，張軍很是嫉妒。 紹興六年（1136年），越軍揮兵北上，連克書郡震天下。 在北伐即將成功的時候，張軍故意割掉了岳軍的糧草，讓他不得不下課回來。 “哲高”之戰勝利了，張軍為了獨佔功績，居然通知岳軍待命，不前進。 濠州之戰敗了，張軍怕岳飛告上他，於是先誣告岳飛不帶軍。 張軍想接受韓世忠的軍權，暗中和岳飛商量，但岳飛斷然拒絕。 所以，張軍和岳飛之間的差距並不淺。
秦輝密謀殺死岳飛，張俊禮幫了他一把。 在秦暉的授意下，張軍先是揚言要收買岳飛的將軍王貴。 然後，他賄賂了岳家軍隊張賢部的王軍，並命令王軍出面誣告張賢，將張賢抓進監獄，牽連岳飛。 後來，嶽雲被捕，張、岳兩人被刑訊逼供，在秦輝陷害岳飛的過程中發揮了重要作用。
紹興十二年末（1142年），張鈞因掌握軍事權權不願登基，被秦暉降職。 紹興於二十四年六月去世，享年69歲。 高宗趙輟出王朝三天，收了一件衣物，“皇帝在雨中喪”，追著國王。