外籍兵團在1831年由國王路易•菲力浦一世建立。 當時的法國已經受過了大革命的洗禮， 帶動著整個歐洲進入了一個躁動的時代， 大量身份各異的異鄉人開始因為各種各樣的原因湧入法國。 這些人往往都身懷本領， 卻又缺少值得一提的財產， 開始填充法國城市的貧民窟， 給法國的社會治安造成了不少問題。 外籍兵團由此應運而生， 它結合了當時法國政府出臺的其他一系列政策為這批“危險分子”提供了一種生涯選擇。
外籍兵團的建立也並非是完全為了解決國內的治安問題。 當時的法國正在北非地區積極擴張， 阿爾及利亞方向急需兵員。 戰區糟糕的生存環境和戰區居高不下的傷亡率讓法國正規軍的每次遠征都在巴黎引起一場政治地震。 面對這種情況， 在國內無親無故的外籍兵團成為了最佳的解決方案， 即便戰鬥失利也不必擔心有法國父老因為失去自己的兒孫兄弟走上街頭。
除非是在法國國內遭到通緝的罪犯， 任何外籍人士都可加入外籍兵團， 選拔標準在最早也低得離譜。 為了方便徵募， 法國政府在成立外籍兵團時甚至並不要求應徵者提供任何形式的身份證明，
初生的外籍兵團是名符其實的雜牌軍， 當他們來到位於非洲的法國殖民地阿爾及利亞時不僅沒有制服、缺少武器， 還沒有足夠的軍官和士官。 但是隨著不斷積累戰鬥經驗， 外籍軍團的戰鬥力不斷增強。 1863年， 在墨西哥爆發的一場戰鬥終於為外籍兵團贏得了屬於他們自己的傳說， 軍團士兵們在65對2000絕對劣勢之下奮戰到了最後一刻， 在只剩之後5人的情況下依然發起了決死衝鋒， 最後只有兩人倖存。 生還的兩人被允許帶著武器護送著長官的屍體撤離戰場， 將外籍兵團的聲望播撒到了世界各地。
自此以後， 外籍兵團幾乎加入了與法國有關的全部戰爭， 包括兩次世界大戰和海灣戰爭， 至今依然活躍在世界各地。 外籍兵團從此不僅成了法國在殖民時代開疆拓土的重要軍隊， 也成為了法軍對外曝光率最高的一支隊伍。