段祺瑞小時候不愛讀書， 並且經常對別人說， 我不要讀書， 我要參軍！到段祺瑞14歲時候， 段祺瑞家裡的經濟支柱祖父去世， 段祺瑞沒了生活來源， 加上自己又是家中長子， 必須負擔起弟弟妹妹今後的生活， 所以， 段祺瑞無奈之下， 帶上自己僅有的一塊錢， 步行2000餘裡， 去到威海投奔自己在軍營的叔叔， 並且順利進入軍中。
1885年， 李鴻章在天津創辦武備學堂， 段祺瑞覺著這是一個好機會， 所以報名參加， 並且成功入選。 進入武備學堂之後， 段祺瑞進入炮兵科學習。 學習期間， 段祺瑞非常用功， 對炮兵知識掌握的非常好。 曾經有一次學校裡一門大炮壞掉， 就連工程師都修不好， 是段祺瑞上前將其修好， 並且將大炮的內部示意圖畫了出來， 指出問題根源， 因為這件事， 段祺瑞在學校名聲大噪。
有一次， 李鴻章親自來到武備學堂檢驗士兵們訓練情況。 因為當時下著小雨， 所以炮兵在舉行演習時候， 效果非常差勁， 炮兵連著開了好幾炮， 竟然一炮未中。 李鴻章對此勃然大怒， 剛想開口罵人， 但是卻赫然見到一名年輕士兵站出來， 開炮之後三炮三中， 震驚全場。 而這個年輕士兵， 正是段祺瑞。
段祺瑞這三炮不僅是震驚了學校， 也把李鴻章震驚了。 李鴻章親自傳見段祺瑞， 並且詢問他家庭情況， 當聽到段祺瑞家是合肥的時候， 李鴻章頓時對段祺瑞開始重視， 知道這個人可以發展為自己人， 因此以後李鴻章就刻意提拔段祺瑞， 後來還推薦段祺瑞去德國軍校學習。