在这之后也寄过两次家书，第一次在乡试结束后不久便寄了家书，说不负厚望中了举人，但路途遥远，一来一回耗时耗力浪费盘缠便不回来过年，正好有一家私塾需要临时先生，他还能挣点盘缠，还能有时间多看看书，等到明年开春直接进京赶考。李峰得知云中鹤中举高兴得给李月棠又添了不少的补给，并劝慰李月棠“不回来过年便不回来过年，这马上入冬了路途遥远还不好走，明年还得进京赶考确实浪费盘缠，还是妹夫想的周到，又能省下盘缠又能赚到明年进京赶考的盘缠。”果然开春没多久便有收到云中鹤寄回的家书，依旧是对李月棠的愧疚与思念，并告要参加会试只要高中便会回来接她云云。
而从那之后李月棠再没盼到云中鹤对她思念的家书，甚至生下小云悠都没有云中鹤的音信。李峰也托人带家书，可都石沉大海。慢慢的镇上流言四起，有说云中鹤高中了，已然留在京师入朝为官，这老家妻儿怕是想不起来了，有的说云中鹤高中之后便被派遣去偏远地区了，怕是要安顿了才能回来接妻儿，更有甚者说云中鹤早就攀上京师高门大户……可都还敢明目张胆的当着李月棠面说。慢慢的李月棠哥嫂对她也越来越冷漠，只是明面上谁也不捅破窗户纸。
直到次年小云悠刚满周岁，一封休书寄到李月棠手里。没收到休书之前两人日子虽不好过，却也没有明面上的挤兑，不至于饥寒交迫，收到休书，母女二人日子犹如坠入冰窖。
一瞬间亲戚朋友左邻右舍对她们弃如敝履，李峰一家对她母女弃之更甚。李峰甚至一度埋怨李月棠生的是女儿，如果是儿子云中鹤便不会休了她，看在儿子的面上是个妾都比现在下堂糟糠之妻要好。为此李峰恨不得将小云悠丢弃，后来还给李月棠又相看了两门亲事，不是续弦就是做妾，而且还不能带着小云悠出嫁，不得已李月棠不得已只能带着刚满周岁的小云悠偷偷搬离白云镇。
李月棠带着刚满周岁的小云悠兜兜转转的来了现在云悠所在的石头村，石头村是白云镇隔壁的永安镇下的一处村落。刚来到石头村母女二人也是不被接受，还是村长出面，看她母女二人可怜，便把山脚下一处偏僻的位置给她安置。
自此小云悠便跟随母亲在石头村安置了下来，云母用仅剩不多的银两搭建了三间茅草屋，置办了母女两生活的全部家当。
石头村村民都姓石，只有小云悠，云母坚持给她取名姓云，自己也对外称呼云李氏，或许云母还一直对云中鹤还抱有幻想吧，幻想着有一天云中歌会回来接她，会回心转意重新接纳她们母女二人。就是在往后最穷困潦倒的日子里，云母都没舍得去当铺当掉当日二人成婚时云中鹤给她得那支简陋的银簪子。
就算在云母弥留之际都还一再交代小云悠，保管好银簪。