再说张浚不听岳飞劝告，于公元1137年三月二十三日，任命兵部尚书、都督府参谋军事吕祉节制行营左护军（即淮西军），王德为都统制，陈充为参谋。
四月，因淮西军换了新领导，为了给吕祉打气撑腰，张浚以宰相兼枢密使及都督全国军事的身份，到淮西军视师。
张浚走后的五月，朝廷命统制官郦琼为行营左护军副都统制，成了王德下属。淮西军便乱成了一锅粥，郦琼不服王德，王德指责郦琼。两人争相向朝廷告发对方黑状。
而吕祉自己也是举止骄傲，不谙军旅，统制官有正副使，有正使横鞭敬礼者，吕祉仅点头答礼，有副使整日侍奉吕祉，中间要求歇息吃饭，吕祉却不予理睬，部下多愤怒不平。
六月，吕祉回朝述职，将王德和郦琼的情况做了汇报，朝廷怕激化两人矛盾，召王德回朝，应该说，这个处置是恰当的。
吕祉走后，在合肥的王德和郦琼两派斗得更厉害，王德打听到郦琼等又在整理他的黑材料，刚想反击，朝廷召他回朝的诏令下来，王德即率所部去建康，赵构见王德来朝，仍命吕祉回合肥节制淮西军。
吕祉到合肥，郦琼又告王德刁状，吕祉抚慰他道：“若说你们是对的，那有欺骗的嫌疑。张丞相喜欢上进之人，如果你们能立功，就算有大的过错，也会得到宽容，何况是一些小过失。我会为大家辩解，确保你们无事！”
郦琼听了，内心很感动。本来，事情到这个地步，已经得到了妥善处置。可是吕祉当面一套，背后一套。安抚郦琼后，又密奏朝廷，请求罢免副都统制郦琼和统制官靳赛的兵权。而且吕祉办事又不牢靠，用人不当，负责书写奏章的书记官将此事偷偷泄露给郦琼。郦琼一听，大惊失色，命心腹拦截了吕祉的奏章，看完后怨怒不已。
而朝廷那边，赵构听了王德的诉说，觉得吕祉一人难以压制郦琼等悍将，八月八日，任命张俊为淮西宣抚使，驻盱眙；杨沂中为淮西制置使，刘錡为副制置使，同驻合肥，实际就是接管淮西军。另外诏令郦琼等赴建康，郦琼闻讯，恐惧异常，反叛的细胞在大脑里发酵，召集统制官靳赛、王世忠等，密谋叛乱。
八月十一日早晨，各将按惯例拜谒军中统帅吕祉，完毕后吕祉刚举杯喝茶，郦琼突然从衣袖中抽出一张纸片，在手中一扬，大声喝问中军统制张景道：“各将官有什么罪，张统制为何向朝廷污蔑我们？”
吕祉见状大惊，立即起身从军营后而走，被郦琼一把抓住。吕祉身边一位承局（低级武官），持刀欲砍郦琼，并大呼道：“你怎敢如此大胆？”
郦琼侧身闪过，随手抄起旁边的铁骨朵（古兵器），将承局击杀在阶下。张景、兵马钤辖乔仲福、统制刘永衡、统制邢支反抗被王世忠、靳赛等格杀，安抚司官员赵康直、赵不群被擒。郦琼随后率四万淮西军，北上渡江投降刘豫。
十四日，赵构下手诏，赦免淮西军的罪行，意图挽留郦琼等，但十头牛也拉不回郦琼了。
十五日，郦琼等走到距离淮河三十里地方，吕祉下马站立，对郦琼道：“刘豫逆贼，我岂能去见他？”
郦琼等逼吕祉上马，吕祉大骂道：“要死就死在这里！”赵康直也挺立吕祉身边，众将一时不敢动。
吕祉见此，又面对众将，高声道：“刘豫不过是乱臣贼子，军中难道没有一位英雄，都想跟随郦琼投敌吗？”
众人悚然，有部分将士站立原地不愿走了，郦琼担心吕祉动摇军心，暗示手下心腹杀吕祉、赵康直后，自己先策马驱众将过淮，吕祉与赵康直随即被害，赵不群被放回。
淮西制置副使刘錡先期到合肥，闻郦琼叛逃，率军追之不及。
淮西军叛逃的消息传到建康，举朝震动，赵构甚至失声痛哭。而张浚，更是后悔莫及。这就是整个“淮西兵变”的大体过程。
九月，张浚因为“淮西兵变”，引咎辞职，以观文殿大学士名义提举江州太平兴国宫，主持北伐的都督府也撤销了，此后，终高宗朝，张浚再也没有得到重用。
“淮西兵变”对历史的影响很大，淮西军的叛逃，使南宋江淮重地突然处于防卫空虚的状态，使敌军的势力增加，南宋自己的势力削弱，一增一减，对比更加悬殊。
“淮西兵变”打乱了张浚制定的北伐步骤，导致自己下台，也让赵构对前方将领更加不放心，从而使他议和的态度更为坚决，成为后来南宋对金人战略变化的一个转折点。
“淮西兵变”从另外一个角度来说，致使南宋方面失去了一次极为宝贵的，也是极为可能的收复故土的历史机会，更令后世史家为之扼腕叹息。当然，北伐不北伐，决策权在赵构，如果赵构没有北伐的雄心，兵再多也是枉然！
对伪齐来说，淮西军团的加入，让伪齐的势力大增，引起了金国的警惕，金国害怕伪齐尾大不掉，不久金国借机废除了刘豫的伪齐政权！
佐料：《三朝北盟会编》卷一百七十八记载：
张浚打算更改淮西军政，参知政事张守认为不能贸然处置，竭力劝阻，张浚不听，张守道：“如果相公一定要更改，应该选一位纪律严明、威望素高、能服官兵之心的将帅才行！”
张浚回答道：“正因为有这样的人选，所以更改！”
张浚所说的人选就是吕祉。吕祉知建康府时，常向张浚进献平戎之策，张浚很赏识，一再提拔他。但吕祉衣服华丽，语言轻佻，曾大吹法螺，说自己如机会总领一军，朝廷举行明堂大礼时，他将擒刘豫父子来献礼，然后恢复国家疆土。
张守知张浚必大用吕祉，告诫张浚持重，不要轻易用吕祉，张浚意志坚决，执意用吕祉，果然败事！
话又说回来，吕祉虽然有这样那样的缺点，但终究不是一位软蛋，而是一位硬汉及忠臣！