宋高宗紹興十一年（1141年）， 岳飛和長子岳雲被害， 被殺時嶽雲僅二十三歲， 天下皆知其冤， 岳飛遇害時夫人李娃41歲， 之後， 岳飛和張憲家屬分貶廣南（廣東廣西）和福建路（福建）監視居住， 每月要向宋高宗本人提交作息活動報告， 還不准他們同時出發。
岳家軍
岳霖是嶽飛的第三子， 從小聰明好學， 一直有為父兄報仇雪恨的心願。 淳熙五年(1178年)， 宋孝宗為嶽飛平反後， 召見嶽霖說；“卿家紀律， 用兵之法， 張浚、韓世忠遠不及。 卿家冤枉， 朕悉知之。 ”嶽霖遂上疏請求歸還高宗當年所賜給岳家的禦劄、手詔， 孝宗詔准歸還。
忠貫古今
關於岳霖在嶽飛遇害後的去向， 據嶽霖之子嶽珂所著的《鄂王行實編年》記載：“遷先臣（指嶽飛）家族於嶺南， 與張憲並籍沒資產。 ”後世史家考證傾向於與岳家其它人流放嶺南。 根據岳飛後人、北京岳飛思想研究會會長助理岳喜高先生認為， 岳家被流放的地點應是現在的廣東惠州市。 最直接證明嶽氏一門流放惠州的記載是南宋洪邁所著的《夷堅志·岳侍郎換骨》：“紹興十一年歲除之夕， 嶽少保以非命亡。 其子商卿霖並弟震同妻女皆羈管惠州郡， 拘置兵馬都監廳之後僧寺牆角土室內。 ”這裡指明嶽飛三子嶽霖（號商卿）和四子嶽震， 及其妻女被羈管在惠州。 此記載極為可信，
惠州夜景
此外， 根據嶽珂所編撰的《金佗粹編》一書中的若干官方文件， 有學者推算出紹興十二年時岳家一門流放到惠州的有：岳飛妻李氏， 子岳雷、岳霖、岳震、嶽靄， 女岳安娘及岳雲、岳雷的妻子兒女共13人（也有一說是7人）。 在惠州拘管期間， 岳雷長子岳經出生于惠州， 岳安娘也在流放期間出嫁。
修書
遺憾的是， 儘管嶽氏一門在惠州生活了20年， 卻沒有在惠州留下後裔。 可能跟孝宗平反後大規模返回有關。