武士第一人究竟是誰？這至今都是一個謎。 但是， 歷史學家確實知道職業戰士何時開始呈現武士的特徵。 在西元5、6和7 世紀， 日本王室力量和氏族勢力之間勾心鬥角， 爾虞我詐。 當天皇去世時， 還會出現硝煙彌漫的王位爭奪戰。 然而， 大多數戰鬥都是針對世代居住在日本列島的那些人， 日本皇室稱之為蝦夷， 即野蠻人。
一些天皇意識到蝦夷是上佳的戰士人選， 就在隨後的一些年裡將他們徵召入伍， 以對抗其他氏族或是反叛的宗教勢力。 日本士兵吸收了蝦夷的部分軍事策略和傳統， 之後為武士所沿用。
權勢家族的激增造就了武士這一精英階層。 這些家族遠離首都， 幾百年來將土地和威望代代相傳。 這些戰士家族或氏族的成員也獲得了高貴的地位。
野蠻人的軍事傳統、精英地位和馬與弓之路戰士法則相結合， 共同構成了武士的最初形態。
12世紀， 日本天皇旗下有兩大氏族勢力：平家氏族和源家氏族。 這兩大家族是死敵。 1192年， 源賴朝率領他的氏族擊敗了平家氏族。 傳統的日本政府最高領導者天皇宣佈源賴朝為將軍，
源賴朝死後， 他的妻子政子努力維持幕府統治。 儘管不如源賴朝那樣出色， 但她所在的北條氏族還是在日本掌權了100多年。
1338年， 足利氏族從北條氏族的手中奪取了統治權， 但未能在日本建立強大的中央政權， 使各個氏族陷入了連綿不絕的戰爭。 在這期間， 大名修建了氣勢宏偉的城堡， 並且輔以城牆、城門和城壕， 使其易守難攻。
這一時期稱為戰國時期或內戰時期， 它一直持續到1603年德川家康統治日本。 德川實施嚴厲的鎖國政策， 並且強制大名居住在本藩， 而將其家室留在首都， 藉此統禦大名。 每個大名每年至少需要進宮一次（那些失寵的大名被分配到遠離首都的藩地， 使得旅途更費財力和時間）。 這一政策保證了對於大名的掌控， 因為他們的家眷實際上就是人質， 而每年一次的參覲之旅又避免了他們的經濟實力不斷擴張。
德川還規定，除武士以外，其他人一律不准攜劍。非武士人員所擁有的所有劍都必須收繳充公，熔化後作為製作雕像的材料。這一舉措使武士成為地位顯赫的社會階層，遠高於庶民。
在德川統治的和平時期，武士很少上戰場。也就是在此期間，武士開始擔當其他角色，比如護送其領主往返于首都與本藩之間，在幕府內擔任官員，以及徵收大名家臣上繳的稻米貢品。
德川還規定，除武士以外，其他人一律不准攜劍。非武士人員所擁有的所有劍都必須收繳充公，熔化後作為製作雕像的材料。這一舉措使武士成為地位顯赫的社會階層，遠高於庶民。
在德川統治的和平時期，武士很少上戰場。也就是在此期間，武士開始擔當其他角色，比如護送其領主往返于首都與本藩之間，在幕府內擔任官員，以及徵收大名家臣上繳的稻米貢品。