“和尚原之战”让朝廷内外一片振奋，张浚作为川陕“总司令”，自然脸上光彩，正当他紧锣密鼓准备下一步行动时，烦心事接踵而来。
公元1132年四月，张浚听信谗言，将“利夔路制置使”兼知兴元府王庶和知成都府王似对调，五月，张浚直接将王庶免职，让王似再回来担任知成都府，而让自己的亲信刘子羽知兴元府。
张浚在川陕近三年，训练新兵，抵抗强敌。用刘子羽为高参，任赵开为都转运使，提拔吴玠为大将。刘子羽慷慨有才能，为他出谋划策；赵开善于理财，为他管理后勤；吴玠英勇善战，为他冲锋陷阵。西北军民，归附的很多，虽然失去了陕西，但保全了四川，最为重要的是，张浚在川陕，牵制了金军的主要兵力，减少了江南的压力，虽然没有功劳，却也有苦劳，功过基本可以相抵。
张浚入川陕之前，赵构曾亲自下诏，授予张浚“宣抚处置司”便宜从事的权力，川陕六路的官员升降，张浚说了算，只需向朝廷报备便可。因此张浚的“宣抚处置司”如同一个小朝廷。
权力大，引起的非议就大，如果取得好战绩，功高盖主惹人议；如果战场接连失利，懦弱无能受人讥；如果胜负难分成绩中庸，劳民伤财有人毁。总之，有权力便有利益，但也有祸患，这是辩证的关系。
张浚在宣抚司用人、用钱随心所欲，杀大将赵哲、曲端也是先斩后奏，朝廷渐渐有了疑心。而张浚将王似调来调去，则动了当时宰相吕颐浩的奶酪。为什么这样说，因为知成都府王似是吕颐浩的姻亲。
张浚在川陕的几年，朝廷的宰相有很大变动，原来的宰相范宗尹被从金国回来的新秀秦桧挤下台，范宗尹下台一个月后，公元1131年八月，秦桧上位做了宰相。
九月，因为前宰相吕颐浩在江南平叛，仗打得“如花似玉”，再次被赵构任命为宰相。吕颐浩第二次做相，与主和的秦桧十分不不对路，联手前宰相朱胜非，又将做了一年宰相的秦桧搞下去了，一个月后，公元1132年九月，朱胜非也第二次进位宰相。
再说吕颐浩和张浚在勤王时并肩作战过，本来有战斗友谊。可张浚没按政治规则玩，将吕颐浩的姻亲王似糊弄来糊弄去，吕颐浩心里也就不看过去的战斗情谊了。吕颐浩向赵构进言，说“川陕宣抚处置司”权力太大了，应该设立“宣抚副使”分担权力，赵构不置可否。
关键时候，刚上台的宰相朱胜非，不知从哪里的渠道获悉，苗刘叛乱后，追查责任，张浚曾向赵构建议，朱胜非首当其责，应该斩首！具体有没有这回事不重要，重要的是，朱胜非相信了！心中小宇宙爆发，大骂张浚忘恩负义，自己多次提携他，他竟然过河拆桥！这个时候，吕颐浩向朱胜非提出，要他向赵构进言，任命王似为宣抚副使。
九月二十八日，也就是朱胜非升为宰相的二十天后，朝廷任命知成都府王似为“川陕宣抚处置副使”。张浚接到这个诏令，头脑一阵发懵。头脑不清醒，做事就会犯糊涂！张浚立即上疏朝廷，请求辞去“宣抚处置使”。
这是撂挑子威胁朝廷，接到张浚的奏疏，吕颐浩、朱胜非相视一笑，十二月十八日，朝廷下诏，罢免张浚“宣抚处置使”职务，保留知枢密院事。同时任命知夔州卢法原为宣抚处置副使，和王似共同处理宣抚司事。
张浚接到免职诏令，一下傻眼了。按套路，朝廷应该是挽留啊，怎么真免职了，张浚又不甘心了，再想扳一扳局面，三次上疏，极力说王似、卢法原威望不够，如要任命副使，可以让刘子羽、吴玠来担任，或者让他们担任判官，协助处理军政事务！朝廷没有理会，反而召张浚赴皇帝临安行宫。
公元1133年五月，朝廷派员外郎周随亨、李愿送王似、卢法原到阆州宣抚司，和张浚办理交接手续，张浚带着刘子羽、王庶、刘锡等赶赴临安。
张浚在赴行宫路上时，御史中丞辛炳，率领侍御史常同等人，上疏弹劾张浚，说他在川陕丧师失地、跋扈不臣、误事败国。
辛炳为什么弹劾张浚，原来前两年，辛炳知潭州，张浚向潭州调兵，辛炳没有听从，张浚当时红得发紫，劾奏辛炳怯懦，辛炳被罢官。不料风水轮流转，不到两年，辛炳被提拔为御史中丞了，于是趁此机会落井下石。
公元1134年二月，张浚到临安面见赵构，三月被罢免知枢密院事，留了资政殿大学士的头衔暂时离开了政坛，居住在福州。
不久，王似被提拔为川陕宣抚使，卢法原、吴玠为副使，但是这时，宣抚使便宜处事的权力被朝廷撤销了。
佐料：“川陕宣抚处置使”这个官职源于“宣抚使”。
宋朝，“宣抚使”不是常设官职，仅是临时性质。主要职责是“宣布威灵、抚绥边境及统护将帅、督视军旅之事”，以“执政大臣”担任。简单说就是临时设立的军政统帅，但必须是正副宰相或枢密院首脑担任。
宋朝最早的“宣抚使”应该是公元1065年，郭逵以同签书枢密院事，出领“陕西宣抚使”。后来，韩绛、童贯、种师道、李纲等陆续担任过宣抚使。
张浚以知枢密院事任“宣抚使”，特意加了“处置”两字，意思是有便宜处事的专权。而且张浚的这个宣抚使名称，全称是“川、陕、京西、湖北路宣抚处置使”，简称“川陕宣抚使”或者“川陕宣抚处置使”，赵鼎说张浚这个职位“半天下之责”，不是没有原因的。
自张浚担任“宣抚处置使”后，赵构陆续甩除了多个“宣抚使”的官帽。吕颐浩、朱胜非、刘光世都以安抚大使兼任宣抚使，刘光世是第一位非执政大臣而担任“宣抚使”的人。接着李光以吏部尚书加端明殿学士，担任寿春等州宣抚使，韩世忠、张俊、吴玠、岳飞、吴璘等陆续以武臣身份担任“宣抚使”，王似是少有的以“副宣抚使”升任“宣抚使”之人。