師團是日本陸軍基本戰術單位， 有主要駐紮地和兵員補充區， 戰時組合師團編成軍以上單位。 抗戰爆發時， 日軍有十七個常備師團， 編制為四單位制， 即師團下轄二個旅團， 旅團下轄兩個步兵聯隊。 隨著戰爭的繼續， 為了適應各個戰區不同形式的需求， 又對師團進行調整， 又甲乙丙丁四種編制。
鑒於一戰後期美軍師火力強勁， 日軍非常重視師團的火力支援， 尤其是火炮的配置， 挽馬師團與馱馬師團的不同在於炮兵的移動方式。 齊裝滿員的日軍常備主力陸軍師團， 員額往往可達24000---28000人， 擁有戰馬7630匹， 裝備步騎槍14900枝、擲彈筒144個、輕機槍288挺、重機槍54挺、山炮16門、野炮36門等。
甲種師團（別稱挽馬師團）， 轄2旅團（每旅團2個步兵聯隊）， 工、騎、炮、輜重各一聯隊， 共8個聯隊， 加上一師團部、兩旅團部的非戰鬥人員共28200人。 乙種師團（別稱馱馬師團）， 由於後期馬匹不足， 在甲種師團的標準上壓縮了騎兵聯隊， 改為大隊（個別不設騎兵）。 轄2旅團（每旅團2個步兵聯隊）， 工、炮、鎦各一聯隊， 共7個聯隊， 加上一師團部、兩旅團部的非戰鬥人員共24400人。
丙種師團轄3個步兵聯隊， 可以認為是三團制師， 另外下轄工兵聯隊和炮兵聯隊， 合計5個聯隊， 加上師團部的非戰鬥人員約15500人。 丁種師團轄3個步兵聯隊， 其他兵種只有大隊或中隊編制， 約11000人。 由於機動靈活， 主要用於掃蕩八路軍的華北根據地。
獨立混成旅團與師團一樣， 也是獨立的戰略單位， 僅有若干（5個居多）步兵大隊， 配備少量特種部隊（騎、炮、工、輜）， 員額六七千人。