福州學使的官署， 本來是明代專門掌管稅收的公署， 當年， 因為宦官橫徵暴斂， 暗中在這裡殺害了許多無辜的百姓， 所以後來， 官衙裡還經常出現怪異的事。
紀先生在福建做督學時， 家中的奴僕時常在夜裡受到驚嚇。 乾隆二十九年（1764年）夏天， 紀先生的父親姚安公到了這裡， 聽說有個屋子鬧鬼， 晚上便下榻於此， 第一夜相安無事。
紀先生曾經勸過他， 希望他不要以寶貴的身體去和鬼怪計較。 他父親教誨他說：“儒家認為沒有鬼神， 這是迂腐的觀點， 也是強詞奪理。 不過鬼必然怕人．因為陰不能勝陽。 有的侵害人， 必然是因為陽氣不足以勝陰氣， 但是所謂陽氣昌盛 ， 僅是因為血氣壯和性情悍嗎？
人的心地， 慈祥的為陽， 慘毒的為陰：坦白者為陽， 陰險者為陰；公正者為陽， 私曲者為陰。 於是易象上以陽為君子， 陰為小人。
如果一個人的心地正大無私， 光明磊落， 那麼他的氣也就純然陽剛， 即便有邪妖鬼怪， 也如同在陰冷的屋子子裡鼓動洪爐烈焰， 冰凍自然會消盡。 你讀了那麼多書， 見過史傳中有品行端正的人被鬼怪侵害的記載嗎？”紀先生再一次領受了父親的教誨， 至今想起來， 他老人家的話還在紀先生的耳邊迴響。