1928年7月25日， 根據編遣會議的決定， 國民革命軍以第九軍第三、第十四、第五十四3個師以及第九軍教導團縮編為第二師， 師部于安徽蚌埠成立，
第二師成立之初分駐宿縣、蒙城、阜陽整訓。 顧祝同先後在第二師師長任內近3年的時間， 平時不嚴格要求紀律， 不禁官兵嫖賭， 只要求能衝鋒不怕死就行；對作戰陣亡或受傷的軍官， 都有比規定多一些的安家撫恤費；年紀老了不能再當兵的老行伍， 或安置於所辦的農場， 或給資本經營小商業；還辦有子弟學校， 幫助退伍的軍官子女上學；退伍的官兵去找他，
第二師在蚌埠整訓時， 蔣介石發現黃國梁、塗思宗兩個旅長不是黃埔學生， 有意要把黃埔第一期學生提升起來當旅長， 又礙于黃國梁、塗思宗兩人在這支部隊裡時間很長且作戰有功， 一直沒想出把他們換下來的理由。 1929年1月， 蔣介石命第二師在蚌埠附近舉行一次戰鬥演習——“旅對抗”：第四旅由臨淮關向蚌埠攻擊， 第五旅防禦蚌埠， 裁判官由蔣介石親自擔任。
演習于淩晨開始， 當天大霧彌漫， 兩支部隊快接觸時雙方忽然發生了實彈射擊。 蔣介石在蚌埠南邊高地上觀看， 恰巧有實彈從他附近飛過， 幸未傷人。 他馬上下令停止演習， 集合連長以上軍官訓話， 要查出放實彈的官兵， 否則先把兩個旅長扣留查辦。
大家看到這麼嚴重， 誰也不敢承認自己放了槍。 結果， 過了幾天， 黃、塗兩個旅長同時免職， 送去陸軍大學受訓；樓景越、黃傑同時升任了旅長。
塗思宗離開部隊時對人說：“這是總司令不要我同黃國梁幹， 演習出事故只是一個藉口。 不把我們攆走， 樓景越、黃傑怎麼能升旅長呢？師長（指顧祝同）是知道的， 他只要能保持他的職位比我們多一個時期就很好了。 ”（摘自《人民政協報》賈曉明/文）