二戰日本於1945年8月15日正午宣佈投降， 結束戰爭。 1945年9月2日上午9時， 標誌著二戰結束的日本投降簽字儀式， 在停泊在東京灣的密蘇裡號主甲板上舉行。 1945年9月9日上午， 中國戰區受降儀式在中國首都南京中央軍校大禮堂舉行， 標誌著日本人正式投降， 隨後日本人相繼被遣送回國。 然而， 仍然有一批日本人居然一直沒有走， 他們脫下日本人的軍裝， 換上國民黨的軍服在中國領土上打起了中國人。
1945年8月初到9月初， 山西軍閥、第二戰區司令長官閻錫山， 就日軍投降與二戰區受降， 與日本華北派遣軍參謀長高橋坦、第一軍司令澄田睞四郎、參謀長山岡道武等接觸交涉。 在此期間， 雙方便談及“日本寄存武力於中國”問題。 隨後即派員秘密談判， 達成協議：將投降後的日本軍人編成部隊， 置於閻錫山的編制下；閻錫山對“殘留”下來的日軍提供優越條件， 官佐階級在原基礎上提高二級（一說三級），
直到1946年4月， 殘留日本主體部隊編制日本軍人已有6600多人。 殘留活動策劃、組織者還企圖使“殘留”下來的日人勢力與山西這個中國社會結合， 紮根、生存， 進而重新佔有山西。 編入殘留部隊的日軍， 安插在山西經濟、政治、情報、文化等組織機構的日本軍人和僑民，
為了避免違反《波茨坦公告》， 殘留組織者採取將殘留日本軍人“就地復員”， 以及偽造技術人員身份和名冊的辦法， 進行殘留。 1946年4月， 從形式上下令撤回編入特務團人員，
因為殘留活動的組織實施， 侵華日軍第一軍司令澄田睞四郎掀去戰犯的帽子， 被聘為閻錫山的軍事顧問。 第一軍參謀長山岡道武有專門設立的“武顧問室”， 一一四師團師團長三浦三郎有專門設立的“蒲研究室”， 獨立步兵第十四旅團旅團長元泉馨有專門設立的“元副總司令辦公室”。 日商山西產業株式會社社長河本大作等， 被聘為閻錫山的經濟顧問。 殘留日軍在主體總隊之外， 還組建了由日軍軍官任總司令、總教官及部隊骨幹的機甲隊。 數百日本官佐並被派往閻錫山軍事組織擔任教官， 對部隊進行日式訓練。 日本軍人則唱著“將士的紅領章，恰似萬朵櫻花開”的日本軍歌，在汾孝戰役、晉中戰役、太原戰役等作戰中，頑抗中國人民解放軍，屠殺和殘害中國人民。
然而，在解放戰爭摧枯拉朽的炮火聲中，閻錫山逃身海外，附植于閻錫山軍隊的殘留日軍，隨閻軍的戰敗而覆滅。
1949年4月24日，太原解放。原第一軍參謀岩田清一、原日偽山西省公署顧問城野宏，及十總隊日軍殘寇不到400人，在其司令部“復興樓”全部被俘。十總隊總隊長今村方策被俘後服毒自殺。至此，閻錫山部隊中的日軍被解放軍全部殲滅。
日本軍人則唱著“將士的紅領章，恰似萬朵櫻花開”的日本軍歌，在汾孝戰役、晉中戰役、太原戰役等作戰中，頑抗中國人民解放軍，屠殺和殘害中國人民。
然而，在解放戰爭摧枯拉朽的炮火聲中，閻錫山逃身海外，附植于閻錫山軍隊的殘留日軍，隨閻軍的戰敗而覆滅。
1949年4月24日，太原解放。原第一軍參謀岩田清一、原日偽山西省公署顧問城野宏，及十總隊日軍殘寇不到400人，在其司令部“復興樓”全部被俘。十總隊總隊長今村方策被俘後服毒自殺。至此，閻錫山部隊中的日軍被解放軍全部殲滅。