第一次
北周武帝宇文邕當上皇帝不久， 發現國家的大片田地無人耕種， 國庫也跟著空虛， 而此時， 成都一個名叫衛元嵩的還俗和尚和道士張賓一起上表武帝，
西元前574年的時候， 他再次大會群臣， 讓道士張賓當面同少林寺僧人智炫辯論兩教優劣是非， 智炫和尚據理力爭， 連武帝本人也無法使智炫和尚屈服。 武帝一怒之下， 下令將佛道兩教一併廢除， 強令全國兩百多萬僧人、道士一律還俗， 將寺廟和塔觀都分給王公貴族， 財產則散給臣下。 在這場自上而下的毀佛運動中， 少林寺首當其衝地受到衝擊。 佛像被毀， 塔廟被砸， 僧徒們流離失散， 有的隱跡塵俗， 有的遁匿山林， 有的逃亡江南， 昔日香客擁擠的佛門勝地轉眼間只剩一派蕭煞之象。
第二次
大業是隋煬帝的年號， 大業十四年（西元618年）， 隋朝已經將近盡頭。 在少林寺網站的寺院歷史大事記中， 列有這樣一條：“大業十四年， 天下大亂。 少林寺為山賊所劫， 塔院被焚， 靈塔尚存。 ”後人研究北魏時期少林寺平面佈局時，
從記載來看， 這把火是亂世之中的“賊”所放， 所造成的後果十分明顯， 不過這“賊”的身份卻很難分辨。 有人說就是打家劫舍的山賊， 也有人說， 這賊就是王世充， 當時他出兵搶劫了擁有不少土地的少林寺， 受到了少林武僧的沉重打擊， 王世充就生出毒計， 放起火來， 將寺內殿宇燒毀大半， 也正是如此， 13棍僧才憤而營救唐王， 打敗了王世充。
大業之火究竟由誰而引現在不得而知， 但李世民當上皇帝以後，
第三次
唐武宗會昌年間， 國內幾經內戰， 人民為了逃避繁重的徭役， 紛紛出家入寺。 唐武宗就傳下旨令， 內容與北周武帝如出一轍， 要讓僧尼還俗。 據《中國佛教》一書記載， 當時全國拆毀大寺4600多所，
最嚴重一次
1928年前後， 盤踞在河南一帶的吳佩孚集團軍閥樊鐘秀， 與馮玉祥的部將石友三展開激戰。 樊鐘秀曾把部隊駐紮在少林寺內，因此3月15日，石友三打敗樊部後直接佔領了少林寺。
根據記載，當時樊鐘秀的殘部和少林寺僧眾都已經逃離了，石友三便一把大火點燃了法堂。第二天，又將天王殿、大雄殿、緊那羅殿、六祖殿、閻王殿、龍王殿、鐘鼓樓、香積廚、庫房、東西禪堂、御座房等殿宇統統悉數付之一炬。一時間，少林寺內火光沖天，濃煙滾滾，四處躲藏的僧眾們在山野中遙望寺院慘狀，又不能前去營救，無不悲痛欲絕。石友三的部隊離開少林寺之後，全寺僧眾急忙回寺滅火搶救，才算保住了千佛殿、達摩亭、方丈堂、山門以及地藏殿、白衣殿等殿宇。
除了殿宇，這次大火毀壞掉的少林珍寶不計其數，包括寺內被皇封的“五品樹祖”、經卷、《少林寺志》木刻版、魏齊造像碑、達摩面壁影石等等全未倖免。這次大火是自隋唐以來少林寺所遭受的最慘重的一次浩劫，據說，此後蔣介石來游少林寺時，也不得不發出了“石友三太壞了”的憤懣之情。在建國前的歲月裡，由於戰爭頻繁，民生凋敝，少林寺僅僅能夠維持山門。
樊鐘秀曾把部隊駐紮在少林寺內，因此3月15日，石友三打敗樊部後直接佔領了少林寺。根據記載，當時樊鐘秀的殘部和少林寺僧眾都已經逃離了，石友三便一把大火點燃了法堂。第二天，又將天王殿、大雄殿、緊那羅殿、六祖殿、閻王殿、龍王殿、鐘鼓樓、香積廚、庫房、東西禪堂、御座房等殿宇統統悉數付之一炬。一時間，少林寺內火光沖天，濃煙滾滾，四處躲藏的僧眾們在山野中遙望寺院慘狀，又不能前去營救，無不悲痛欲絕。石友三的部隊離開少林寺之後，全寺僧眾急忙回寺滅火搶救，才算保住了千佛殿、達摩亭、方丈堂、山門以及地藏殿、白衣殿等殿宇。
除了殿宇，這次大火毀壞掉的少林珍寶不計其數，包括寺內被皇封的“五品樹祖”、經卷、《少林寺志》木刻版、魏齊造像碑、達摩面壁影石等等全未倖免。這次大火是自隋唐以來少林寺所遭受的最慘重的一次浩劫，據說，此後蔣介石來游少林寺時，也不得不發出了“石友三太壞了”的憤懣之情。在建國前的歲月裡，由於戰爭頻繁，民生凋敝，少林寺僅僅能夠維持山門。