取得淝水之戰的光輝勝利後， 北府兵一躍而成為東晉王朝舉足輕重的力量。 他們的統帥謝玄、謝安聲望也達到了頂點。 然而盛極而衰， 功高遭忌。 很快， 謝玄內調， 壯志以歿；謝安主動交權， 不久後也病死了。 北府兵在謝氏退出後， 很快也跌進了覆滅的深淵。
東晉孝武帝司馬曜可能是有晉以來最有實權的一個皇帝了。 謝安之後， 取而代之的是他的親弟弟司馬道子；北府兵的統帥， 也換成了皇后的哥哥王恭。 一時間， 東晉王室的力量空前強大。
不過， 孝武帝也沒有高興太久。 他的死可以說十分的荒誕。 只因為一次喝醉了酒， 對寵妃張貴人說了些胡話， 就被張貴人叫來心腹宮女， 趁著他熟睡， 用被子把他給捂死了。
晉孝武帝
孝武帝死後， 晉安帝司馬德宗繼位， 愚笨木訥， 智商不足， 朝政進一步被叔叔司馬道子掌控。
司馬道子寵信一個叫王國寶的人。 此人是謝安的女婿， 但品行不好， 在謝安當政時期沒受到重用。 於是， 他就投靠了司馬道子， 並且屢次在司馬道子面前說謝安壞話， 最終致使謝安去位。
晉安帝時期， 王國寶更加受到重用， 這引起了王恭的強烈不滿， 常常當著面懟， 搞得司馬道子也很尷尬。
王國寶
隆安元年（397年）， 王國寶又向司馬道子進言， 要削減王恭的兵權。 王恭則藉口準備北伐， 約了荊州刺史殷仲堪， 帶著自己的北府兵就殺進了建康。 逼得司馬道子殺了王國寶謝罪， 王恭才又返回京口。
這一次兵諫成功， 顯然進一步助長了王恭的脾氣。
第二年，
王恭不但答應了， 而且不等殷仲堪、桓玄回應， 就決定自己先起兵。 大將劉牢之勸他別急， 完全不聽。 劉牢之本來就恨他平時拿自己當一般的部將看待， 又被朝廷派來的人許以重利（承諾讓他取代王恭的位置）。 於是劉牢之都沒讓王恭正式起兵， 就一巴掌摁死了他。
恭夢牢之坐其處， 旦謂牢之曰：“事克， 即以卿為北府。 ”遣牢之率帳下督顏延先據竹裡。 元顯使說牢之， 啖以重利， 牢之乃斬顏延以降。 是日， 牢之遣其婿高雅之、子敬宣， 因恭曜軍。 輕騎擊恭。 恭敗， 將還， 雅之已閉城門， 恭遂與弟履單騎奔曲阿。 恭久不騎乘， 髀生瘡， 不復能去。 （《晉書·王恭傳》）
北府兵則被劉牢之所掌控。
當劉牢之率領著北府兵替朝廷掃平孫恩叛亂之時，桓玄已經襲殺了殷仲堪和楊佺期，鯨吞了荊州、江州兩大轄區，而且不奉號令，不尊朝廷，儼然藩鎮割據。
元興元年（402年），朝廷下令討伐桓玄。桓玄則聽取謀士建議，主動出擊，親率大軍東下，並擊敗了豫州刺史司馬尚之，朝廷軍隊士氣被他打得陷入低迷狀態。
而此時的劉牢之，一方面憚于桓玄的威名，一方面又怕朝廷猜忌。桓玄又派人來離間，說些兔死狗烹的鬼話。於是劉牢之心動了，不顧眾人反對，選擇了投降桓玄。
最終，東晉朝廷被桓玄打落。司馬道子先被流放，後又被殺。晉安帝則被迫禪位，桓玄稱帝，建立了桓楚政權。
當初劉牢之打算投降桓玄時，他的外甥何無忌和部將劉裕苦勸，劉牢之不聽。投降後，劉牢之很快就被調離了北府兵的老巢京口，去當什麼會征東將軍、稽太守。
劉牢之也感覺到不對了。他的兒子勸他去襲擊還在丞相府住著的桓玄，劉牢之猶豫了一下，先把軍隊移駐到了班瀆，然後召集諸將商議，打算北上去投靠女婿，正在當廣陵相的高雅之，企圖佔據江北以對抗桓玄。部下一聽不幹了，參軍劉襲直接懟：你已經反叛了兩次，還想來第三次，怎麼還有臉站在人世間！說完頭也不回走掉了，其他部將也紛紛離去。
參軍劉襲曰：“事不可者莫大於反，而將軍往年反王兗州，近日反司馬郎君，今複欲反桓公。一人而三反，豈得立也。”語畢，趨出，佐吏多散走。（《晉書·卷八十四·列傳第五十四》）
劉牢之心灰意冷，又因為兒子久去京口未歸，懷疑已經被殺，於是選擇了上吊自殺。
一個能征善戰攻敵必克的猛將，就這樣草草了結了自己。
隨後，北府兵宿將高素、竺謙之、竺朗之、劉襲、劉季武、孫無終等，盡數被桓玄剷除。
這支曾橫掃天下的無敵勁旅，第一次走到了覆亡的危機關頭。如果不是後來劉裕起兵擊敗桓玄，又重建北府，恐怕真的要就此消失於歷史中了。
而劉裕接手後的北府兵，又攻滅桓楚，北伐五胡，收復洛陽，攻入長安，代晉建宋，闖下了不世功業，也將北府兵帶向了最高潮。王夫之曾說：“裕之為功於天下，烈於曹操！”這些都是後話了。
當劉牢之率領著北府兵替朝廷掃平孫恩叛亂之時，桓玄已經襲殺了殷仲堪和楊佺期，鯨吞了荊州、江州兩大轄區，而且不奉號令，不尊朝廷，儼然藩鎮割據。
元興元年（402年），朝廷下令討伐桓玄。桓玄則聽取謀士建議，主動出擊，親率大軍東下，並擊敗了豫州刺史司馬尚之，朝廷軍隊士氣被他打得陷入低迷狀態。
而此時的劉牢之，一方面憚于桓玄的威名，一方面又怕朝廷猜忌。桓玄又派人來離間，說些兔死狗烹的鬼話。於是劉牢之心動了，不顧眾人反對，選擇了投降桓玄。
最終，東晉朝廷被桓玄打落。司馬道子先被流放，後又被殺。晉安帝則被迫禪位，桓玄稱帝，建立了桓楚政權。
當初劉牢之打算投降桓玄時，他的外甥何無忌和部將劉裕苦勸，劉牢之不聽。投降後，劉牢之很快就被調離了北府兵的老巢京口，去當什麼會征東將軍、稽太守。
劉牢之也感覺到不對了。他的兒子勸他去襲擊還在丞相府住著的桓玄，劉牢之猶豫了一下，先把軍隊移駐到了班瀆，然後召集諸將商議，打算北上去投靠女婿，正在當廣陵相的高雅之，企圖佔據江北以對抗桓玄。部下一聽不幹了，參軍劉襲直接懟：你已經反叛了兩次，還想來第三次，怎麼還有臉站在人世間！說完頭也不回走掉了，其他部將也紛紛離去。
參軍劉襲曰：“事不可者莫大於反，而將軍往年反王兗州，近日反司馬郎君，今複欲反桓公。一人而三反，豈得立也。”語畢，趨出，佐吏多散走。（《晉書·卷八十四·列傳第五十四》）
劉牢之心灰意冷，又因為兒子久去京口未歸，懷疑已經被殺，於是選擇了上吊自殺。
一個能征善戰攻敵必克的猛將，就這樣草草了結了自己。
隨後，北府兵宿將高素、竺謙之、竺朗之、劉襲、劉季武、孫無終等，盡數被桓玄剷除。
這支曾橫掃天下的無敵勁旅，第一次走到了覆亡的危機關頭。如果不是後來劉裕起兵擊敗桓玄，又重建北府，恐怕真的要就此消失於歷史中了。
而劉裕接手後的北府兵，又攻滅桓楚，北伐五胡，收復洛陽，攻入長安，代晉建宋，闖下了不世功業，也將北府兵帶向了最高潮。王夫之曾說：“裕之為功於天下，烈於曹操！”這些都是後話了。