袁天纲一经批准致仕，就立刻带着高淑行去终南山石窟里修道，两人过着神仙眷侣的生活，这里没有尔虞我诈，没有塞外的刀光剑影，更没有你死我活的权力斗争，只有两人每日枯坐石窟的平淡、简单修道生活。不知不觉中，时间过去了三年，显庆四年（公元659年）四月初十，突然山下有一人来访，是高淑行的阿哥高履行，原来他这次是来辞行的。同时，他带来了一个令人震惊的消息：长孙无忌倒台了！
原来情况是这样的：武媚娘经过一路上的披荆斩棘，终于当上了皇后。她因为长孙无忌接受贵重赏赐却不帮助自己，内心产生了深深的怨恨；在朝堂上讨论废立王皇后的事时，于志宁也保持着中立态度，不发表任何意见，武媚娘也记恨在心。当时礼部尚书许敬宗屡次以利害关系劝说长孙无忌，长孙无忌却常常当众责骂他，让给他感到非常难堪，所以许敬宗也非常怨恨长孙无忌。武媚娘自从受册封当上皇后之后，长孙无忌内心不安，生怕武媚娘将来寻机会报复他；而武媚娘暗中命令许敬宗找机会加以陷害。
正好有一个洛阳人李奉节到长安告御状，状告太子洗马韦季方、监察御史李巢结为朋党的事件，李治接到告御状者的控告后，不敢掉以轻心，就下令许敬宗审讯此案。许敬宗就利用此案大搞“逼供信”， 韦季方受刑熬不住，就想自杀了断，结果没有自杀成功。许敬宗就上奏李治，诬告韦季方和长孙无忌结为死党，准备抢班夺权、谋害异己，使朝廷大权集中到长孙无忌手上，然后找机会图谋反叛，现在事情已被发觉，所以长孙无忌的同党韦季方就想自杀了断。
李治听罢，大吃一惊，问道：
“怎会有这样的事呀! 舅父是被小人所离间吧，和朕稍稍产生些猜疑和隔膜是有的，怎么会反叛呢?”
许敬宗回奏道：
“臣亲自审讯此案，谋反证据确凿，陛下如果对此表示怀疑，恐怕非社稷之福。”
李治哭泣着说：
“我们大唐皇室真是家门不幸，皇室成员中老是出现谋反之人，前几年高阳公主和房遗爱谋反，现在长孙无忌舅父也要谋反了，使得朕无颜见天下人。如果长孙无忌谋反属实，那怎么办呢?”
许敬宗回答道：
“房遗爱不过是乳臭未干的小孩，他和高阳公主谋反，势必不可能成功。然而长孙无忌是和先帝一起打天下的人，他做了三十余年的宰相，现在大权在握，天下归心！一旦他暗中发动叛乱，陛下派遣谁去平叛？现在有赖宗庙里的祖先保佑，才查获长孙无忌谋反的证据。臣担忧的是长孙无忌一旦知道韦季方的供词之后，困窘之中急忙发起叛乱，只要他振臂一呼，天下人就会群起响应，必然会成为大患！隋朝宇文述、宇文化及父子深受隋炀帝所信任，并且隋炀帝把自己的女儿南阳公主嫁给宇文化及的弟弟宇文士及，把朝廷政事托付给他们。宇文述去世后，宇文化及又执掌御林军，但他照样在江都作乱弑杀隋炀帝，从而导致隋朝灭亡。前车之鉴后车之师，希望陛下早做决断!”
于是，李治就诏命许敬宗继续审讯。次日，许敬宗又进奏说：
“昨夜韦季方已经承认和长孙无忌一起造反，韦季方揭发说：‘柳奭、褚遂良都曾劝说长孙无忌立梁王李忠为太子，现在梁王李忠被废了，陛下也在疑心长孙无忌了。’
从此以后，长孙无忌就开始担心害怕，暗中制定了一些自我保全的计划。后来看见其堂侄长孙祥被外放为官，褚遂良被贬，就日夜和韦季方等人策划谋反了。所以请求陛下下旨收捕他依法惩办。”
李治哭泣着说：
“长孙无忌舅父果然这样做了，朕也决不忍心杀之，如果杀了他，天下人会说朕是怎样的人，后世人将会如何评价朕呢？”
许敬宗回答说：
“薄昭是汉文帝的舅舅，汉文帝从代地来长安即皇帝位，薄昭居功至伟，他所犯的罪只不过是杀人，汉文帝就命令百官穿着丧服到他门前痛哭，逼他自杀，到现在天下人还认为汉文帝是贤明的国君。
长孙无忌作为大唐三朝元老，身受国恩，却正计划谋反，现在他的罪行已经暴露，古人说：当断不断，必留后患！国家的安危在此一举，请陛下早下决断，是否则祸患一起，则悔之晚矣!”
李治这才下诏令剥夺长孙无忌的太尉、司徒官衔和封邑，贬为扬州都督，流放到黔州。同时，长孙祥也由工部尚书贬为荆州长史；又下诏令分别剥夺褚遂良的爱州刺史的官职；剥夺柳奭吏部尚书的官职；将韩瑗贬为振州刺史；将来济贬为庭州刺史。李治派遣使者率领军队押送长孙无忌到流放地黔州。
长孙无忌的儿子长孙铨、长孙冲等人都被免官，流放到岭南；长孙无忌的堂弟长孙恩被免官流放到高州；褚遂良的儿子褚彦甫、褚彦冲被流放到爱州。他们分别在流放的路上被武媚娘派人杖毙。
四月二十七日，李治命令李积、许敬宗等一起再重新调查无忌谋反案。许敬宗又派遣中书舍人袁公瑜前往黔州，再度审讯讯问长孙无忌谋反之事, 袁公瑜一到黔州就逼迫长孙无忌自杀。
李治又下诏令将褚遂良、柳奭、韩瑗在流放地赐死，抄没长孙无忌、褚遂良、柳奭三家，把他们的其他亲属都流放到岭南做奴婢。
至此，长孙家族、褚氏家族、柳氏家族因为长孙无忌、褚遂良、柳奭的谋反案而被免官流放、杖毙的有十三人。
于志宁因为在立武媚娘为皇后的问题上保持中立，这次也被贬为荣州刺史。于氏家族被贬的有九人。
户部尚书高履行作为长孙无忌的亲戚，也应受牵连而被杖毙，但是武媚娘先前已经向袁天纲承诺过不殃及高家，就将高履行贬为永州刺史，总算是保留一条命。
从此以后，关陇军事贵族集团被一网打尽，大唐帝国一切权力都归到了武媚娘手上，正是一一应验了李淳风与袁天纲所说的：“太白金星经天，预示着女主昌。民间广传《秘记》谶语：‘唐三世之后，女主武王将取代李氏据有天下。’”
这次高履行上终南山寻找袁天纲与高淑行，就是要向他们通报朝廷上的政坛大地震一事，同时也是向他们辞行，自己将去永州（今湖南永州）上任。至此，兄妹两人终南山一别，以后生死两茫茫。
临别前，袁天纲对高履行兄妹说道：
“长孙皇后生前最担心的事终于发生了，长孙无忌过度贪恋权力，最终给整个长孙家族带来灭顶之灾。贞观二年（公元628年）正月，曾有人举报长孙无忌有揽权迹象时，长孙皇后就严厉要求长孙无忌马上辞职。”
高淑行感叹道：
“是啊！皇后阿姊绝对是人间清醒，她熟读经史，早已经将长孙无忌和历史上的霍光进行了对标，她比谁都要明白，为了避免‘外戚干政’历史的悲剧在自家人身上上演，就应该远离权力。”
“长孙无忌做的最缺德的事：利用房遗爱与高阳公主谋反事件，将荆王李元景、吴王李恪、驸马都尉柴令武、江夏王李道宗、驸马都尉薛万彻等这些政敌一网打尽。甚至陛下当着众人的面请求长孙无忌留下叔叔和兄弟的命时，长孙无忌都无动于衷。”
“当年吴王李恪临死时，曾诅咒道：‘长孙无忌擅弄威权，残害忠良。假若宗庙有灵，当不久遭到灭族之灾！’ 看来吴王李恪的诅咒应验了！” 高履行也感叹道。
“先生，天道轮回，报应不爽！看来阿耶和您功成名就，就均辞官归隐，这才是避祸之道啊！” 高淑行无比庆幸地说道。
最后，袁天纲、高淑行与高履行在终南山脚下依依惜别，并送上离别之语：
“方外云山无非幻境，静中岁月自有长春。”