经甄别考试后，改授知县，又改任府学教授，后来上书称病辞职回家。他年轻时梦见有人送给他一把扇子，上面有三首绝句说：“曹公饮马天池日，文采西园感故知。至竟心情终不改，月明花影上旌旗。”“尺五城南并马来，垂杨一例赤鳞开。黄金屈戌雕胡锦，不信陈王八斗才。”“箫鼓冬冬画烛楼，是谁亲按小凉州？春风豆蔻知多少，并作秋江一段愁。”诗中的语句很难懂，后来也没有什么应验，弄不清是什么缘故。
平定的举人王执信，曾经跟随父亲到榆林赴任。夜里住在一座野庙的藏经阁下面，听见经阁上面有人嘀嘀咕咕说话，好像在讨论诗。王执信感到很奇怪，这里没几个文人，怎么会有人在这儿讨论诗。于是侧耳谛听，但是听不清楚。后来说话声音渐渐传到走廊里，才稍稍听得清楚了。一个人说：“唐彦谦的诗格调不高，不过‘禾麻地废生边气，草木春寒起战声’倒是佳句。”另一个说：“我曾写过这样的句子：‘阴碛日光连雪白，风天沙气入云黄。’不亲身到过关外，是看不到这种景象的。”前一个又说：“我也写过一联：‘山沉边气无情碧，河带寒声亘古秋。’自己认为这两句诗描绘边城日暮的景象极为贴切。”两个声音吟诵、欣赏、讨论了好久，寺里的钟忽然响了，讨论的声音就消失了。天亮之后，王执信到经阁上面去看，只见门紧紧关闭着，锁上落满了灰尘。“山沉边气”这一联诗，后来见之于任总镇的遗稿中。任总镇名字叫举，出师金川时，身经百战而阵亡。“阴碛”这一联诗，最终还是不知道是谁写的。但诗作者的精灵长在，并能与任公相处，一定也不是普通的鬼。
沧州城南的上河涯，有个无赖名叫吕四，横行霸道，什么坏事都做，人们就像害怕虎狼一样怕他。一天傍晚，吕四和一群恶少在村外乘凉，忽然隐隐约约听到雷声，风雨马上就要来临。远远望见好像是一个少妇急急忙忙躲进河岸的古庙里。吕四对恶少们说：“我们去玩玩那个女人。”当时已经入夜，阴云密布，一片漆黑。吕四突然冲进庙内，捂住了女人的嘴，众恶少扒光了女人的衣服，一拥而上猥亵她。突然一道闪电穿过窗棂射进庙内，吕四发现这个女人好像自己的妻子，急忙松手问她，果然不错。
“山沉边气”一联，后于任总镇遗稿见之。总镇名举，出师金川时，百战阵殁者也。“阴碛”一联，终不知为谁语。即其精灵长在，得与任公同游，亦决非常鬼矣。
沧州城南上河涯，有无赖吕四，凶横无所不为，人畏如狼虎。一日薄暮，与诸恶少村外纳凉，忽隐隐闻雷声，风雨且至。遥见似一少妇，避入河干古庙中。吕语诸恶少曰：“彼可淫也。”时已入夜，阴云黯黑。