趙杲為人名， 生平不詳。 民間流傳有兩種說法。 相傳春秋時， 趙襄于滅代國， 代君夫人摩笄自殺後， 其餘姬妾由丞相趙杲保護外逃， 來到此地， 隱居于石洞中。 另一種說法是秦二世時， 宦官趙高私藏於此。 後來因趙高名聲不佳， 便改高為杲， 後來又有人考證說， 趙杲是隋煬帝幼子趙王杲， 曾與隋煬帝被突厥困在代州。
趙杲觀位於代縣交口鄉紅寺村天臺山下， 距代縣大約23公里。 該觀建於天臺山峽谷中， 利用當地的天然石洞、在懸崖峭壁上略加人工建築而成， 可謂獨具匠心。 趙杲觀最奇特之處在於， 多處寺廟建在光滑的石壁上， 想進寺的話必須沿鐵索攀援而上， 其勢頗險。 著名的有“仙閣登雲”、“九仙女洞”等。
北洞是主體建築部分。 中區有大殿三間， 座北向南。 東側迎面山壁上， 自然形成龐大的三角形石縫， 內有天然石洞， 景觀奇特。 石縫上端， 外建五層樓閣。 依崖開鑿卯洞， 梁架結構與崖石交接構築， 建造精巧。 閣內設有鐵索， 扶鐵索可攀援而上。 在閣的東邊又有一洞， 內建殿三間， 名九仙女閣， 塑九仙女像。 箭閣外塑趙杲泥像， 頭頂距石崖僅二指半， 故舊稱“趙杲觀， 離天二指半”。 再往南， 就是趙杲觀最險峻的景觀了。
上下左右根本無路可通。 山洞中垂下一條長約20米的鐵索， 成了進洞的唯一途徑。 只有勇敢的虔誠者或探險者， 方可垂直攀索而登， 一般人只能望樓興歎， 故鐵索被譽為“仙閣雲梯”。
下層供修持者居住。 當時修築情景， 真令人難以想像。 北洞群落， 地形險要， 峰巒競秀， 古木參天， 峭峻幽邃， 設計大膽， 造型奇特。 人誇“雁北懸空寺，
整個趙杲觀依崖建物，因洞造寺，將險峰陡壁增添上人工建築，鬼斧神工，匠心獨具，真可謂是仙宮佳境。正如古人所說，趙杲觀“臨幽谷，倚奇岩，山清水秀，洵代郡之勝境，人間第一蓬萊也。
整個趙杲觀依崖建物，因洞造寺，將險峰陡壁增添上人工建築，鬼斧神工，匠心獨具，真可謂是仙宮佳境。正如古人所說，趙杲觀“臨幽谷，倚奇岩，山清水秀，洵代郡之勝境，人間第一蓬萊也。