王吉在知道夏夕颜打算离开临邛县的时候，就知道他糟了，然而却没有想到会遭的那么快。
他管辖的临邛县内，不到一个月就搬离的三位大富豪，而其他小富豪也起了离开之一，让临邛县的街市关闭了三分之一，市民的生活受到了很多的冲击，以前热闹似省城的集市也平庸了下来，临邛县的小商贩损失惨重。
他也极力挽留要跟着卓家离开临邛县的大小富翁，最后没有留下不说，还被他们建议快点顺从民意驱逐他的‘贵客’司马相如出临邛县。
他冒着几十万贯的损失‘大义灭亲’的对司马相如下了驱逐令，和好友司马相如闹翻脸，以为这样可以重新得回民意，却是不想还是被人以治理临邛县不力，逼走临邛县富户为由
告到监御史，然后丢了县令的官职。
“夫君，你糊涂啊！怎可如此资助拿司马相如，得罪了卓家，失了民心还败光了家里这么多年积攒的银钱。”王吉的妻子吴氏看着丈夫被罢官，还损失了大半家产就有些生气念了王吉一句，虽然有些怪罪，却也只是责怪的念叨一句，却是被没有开口问问王吉今后他们家这么办的时候，王吉却是因为连日发生的事情而羞恼异常的呵斥起妻子吴氏来。
“你这蠢妇，别对我做的事情指手画脚，难道还想被我休回家不可！”王吉用惯常和吴氏说的威风话，让吴氏想起前年，她就为摘取了邻居家伸进他们家的枣树枝上的几棵枣子，就被王吉给赶回娘家要休弃的事情。
当初王吉就因她摘了伸到自家的几棵枣，就小题大做要休他以展示他的‘为官清廉’，不管她嫁入王家辛苦操持家事，不说功劳也说苦劳，还不提他们多年的夫妻情分，说把她赶走就赶走，若不是邻居知道后，吓的都准备砍了自家的枣来劝王吉不要为这样的小事情休弃她，王吉还坚持要休，最后是好几个邻居为她求情，她才免于被休弃的命运。
“夫君，就是如此把我呼来喝去！你败光了家财几十万贯，还丢了官职，我不过是念叨一句，你就又想休弃我！夫君，是不是从一开始就看轻我，所以才会如此轻易的休弃我的话放在口边，若是真的如此，我也不等夫君休弃，我自请下堂！”吴氏想到当年几颗枣就要被休弃的事情，再次升起了心寒，同时想到这么多年，因为王吉的官位，一直对她呼来喝去，而她因为家族只是平头百姓而不敢太过反抗的生活，突然之间有些不想再忍着过下去的说出‘自请下堂’的话。
“你这蠢妇，在说什么？还不去做饭，如今家里无奴仆伺候，你是想要饿死我吗？”王吉在接连损失了银钱和丢了官位，身价暴跌的时候，也就习惯性的随口威胁威胁吴氏，刷刷他的威风，却是没有想到居然惹的一向对他又惧又怕的妻子提出了‘自请下堂’，这可不是现在无权无势还无财的王吉真正想要的，现在休了吴氏，他可不似做县令时那样，可以再娶一个比吴氏更好的妻子。
这些关节王吉很清楚，所以在吴氏强硬的说话后，马上转移话题的让吴氏去弄饭。
然而吴氏隐忍了这么多年，今天被王吉再次提出‘休弃’的寒心事，那是那么好就转移的。而且王吉把她当奴仆一样的呵斥使用，吴氏想想就为自己的嫁人后的生活可悲。
“我是蠢妇，我配不上你王吉，也不配去给你做饭，我还是回我吴家，不碍你的眼，丢你的人了。”吴氏嘲讽的说完就转身回卧室收拾行囊回了吴家。
王吉见吴氏背着包袱离开，先还没有急，觉得最多回几天吴氏就会又灰溜溜的回来继续做他的妻子，却是不知早被他寒了心的吴氏，在不惧怕不是县令的王吉对她今后婚嫁的影响，一封和离书寄过去，没多久就在家人的安排下，另外嫁了一个老实本分的人家。
王吉知道的时候，大骂了吴氏一通，却是对已经和他没有关系的吴氏无可奈何，一个人在无人打理，也无财打理的宅院中，开始典当东西过活。
***
王吉这边丢了官职，被司马相如骗走了家财，过起了典当东西落魄日子时，被临邛县全县人赶出来的司马相如带着跟着他的卓文君过的更加落魄。
他名下的酒楼，被临邛县的百姓给砸了不说，他压手里的地契还来不及转手获得一些钱财就被临邛县人给姿势难堪的赶出来，再也无法进入临邛县。
回归到一穷二白的司马相如看着身边因为各种不孝的指责，而低头垂泪的卓文君，心中厌恶非常，却是还不得不继续带着她追着去到x县定居的夏夕颜。
司马相如现在也是骑虎难下，文人的好名声因为算计夏夕颜不成反倒在临邛县丢的一干二净，没有因为娶到卓文君获得当初想要的一切，还必须继续为了某些名声而继续和卓文君过下去。
因为现在司马相如想马上甩了卓文君，两人各走各的是完全要坐实了他当初追求卓文君就是看她背后的卓家的财力，想吃软饭的名声，所以他不到万不得已是不可能放弃卓文君。而且他现在的状况，抛不抛弃卓文君都是一穷二白吃不饱饭的状态，对于没有找到比卓文君还要好的下家事，司马相如也是不舍就这么抛弃卓文君的，逼近他都已经付出了许多东西，却一无所获，司马相如也有些不甘心，这种不甘心，会让司马相如发狠的一定要让夏夕颜认下他和卓文君的事情。
而且司马相如还总觉得他还能找到方法逼迫着夏夕颜认下他这个女婿，乖乖把卓文君的嫁妆拿出来，让他们去过富家生活。
所以在知道夏夕颜带着卓家搬到y县，司马相如在被赶出临邛县后，就果断的带着卓文君徒步追了过来，然而，鞋子都走破，人还走的饥寒交迫的来到x县，司马相如和自己却是被拦在了x县之外。
“你就是司马相如，你不能进我们县！”城卫查看了司马相如的文牒知道他是谁就拒绝让他进去。
“为什么？”司马相如和可以进入x县的卓文君询问城卫，城卫不耐烦的告诉他们，“这是县令的命令，x县和临邛县驱逐司马相如，所以他不能入内，你若是要进去就进去，不进去就快点和他离开！”
门卫没有看着司马相如回答问题，而看着卓文君。卓文君也就继续追问了司马相如为什么也会被x县驱逐。
“还不都是你们做的那些糟心事，县令怕你们进去也如此逼迫卓公，卓公还不容易带着大批资产定居我县，我们如何能让你们把卓公再气走，你能进，也是看在你之前怎么也是卓家的女儿，只是你进去若是做什么让卓公为难的事情，县令也下命令了，也是第一时间被驱逐出我们x县。”城卫公事公办的说完，看卓文君还去看司马相如，似乎在等他的吩咐，就不耐烦的问，“你要不要进我们县，不进的话就让开，站在这里挡着其他人。”
卓文君被这么吼，有些委屈的和司马相如站到一边，那城卫看了却是鄙夷的看了她和司马相如一眼，然后为夏夕颜骂了句，“家门不幸，生出这种算计自家的不孝子孙来！”
卓文君听到对方说她不孝，就有些伤心的哭了起来，却是引不起知道她所作所为的任何人的同情，反而被指指点点，司马相如受不了这指指点点，也就快速的拉着卓文君离开了x县城门，去了一个偏僻无人的地方。
“文君，别哭了！”
司马相如看着只知道哭泣，没有一点主动的进x县求夏夕颜的卓文君，心中有些怨怪，却也在想着之后的打算时，压下这些情绪，搂着卓文君轻哄。
卓文君在司马相如的安抚下，却是更加委屈的哭的更凶，她不知道为什么她现如今会落在这样的地步，背了不孝的名声，还被夏夕颜就这么丢下她去了其他地方生活，那么冷酷无情，让她完全不知道未来要如何生存。
靠司马相如？
卓文君是早看出虽然司马相如有些才华，可是这些才华却是养不起家，也养不了家。他们一个大小姐，一个书生，都是肩不能挑手不能提的人，离了别人的资助，根本过不了下去贫苦的生活。
她当初在跟着司马相如私奔到成都，就是明白这一点后，才会厚着脸皮想求得夏夕颜的资助，把当年给她的嫁妆给出来，让她和司马相如过贫贱的生活，却是不想夏夕颜会如此冷酷绝情的一分不给，还离的她远远的。
“长卿，你说我们以后怎么办啊？”她爹不认他们，不给他们生活的资本，她也不想那么算计卓家，可是卓文君清楚的知道他们自己又无从靠自己过下去，卓文君想着就有些急，而司马相如却是比她还急，所以再耐着性子把她哄好后，司马相如就马上开口把他后面的打算说了出来。
“现在我们临邛县不能呆，成都老家除了一间房子什么也没有，回去也是要饿死，王兄也不会在帮助我们，你在卓家锦衣玉食，跟着我却是粗茶淡饭也做不到，是我司马相如无能，你现在跟着我受苦，x县现在还对你开放，就证明你父亲没有完全放弃你，只要你和我分开，他们就会重新接受你。文君，不如回卓家，继续过你大小姐的生活，以后从新找个好人家嫁了！”司马相如一脸心疼和不舍的看着卓文君，以为劝卓文君豪的劝她回去。
卓文君听司马相如为她考虑，心中感动的表示不愿意抛下司马相如，司马相如假意又劝了卓文君回去几句，卓文君都忠贞的表示饿死也要和司马相如在一起。
司马相如‘感动’的同时，却还是不想让卓文君受苦，所以就想出一条‘妙计’。
“文君，我们现在是无一点家产，还是需要岳父大人的资助，可是看他对我的排斥，我们需要另外谋一缓和的法子，岳父大人一时半会不能接受我，你不如假意和我分开的回卓家......”