1920年的直皖戰爭,直、奉聯合打敗皖系,把持了北京政權。 直系大將吳佩孚成為直魯豫巡閱副使,駐軍洛陽,與地方勢力河南督軍趙倜矛盾加劇。 馮玉祥的第十六混成旅由於在擊敗皖系陝西督軍陳樹藩中作戰有功,擴編為第十一師,馮升任師長,不久繼任陝西督軍。 1922年4月,第一次直奉戰爭爆發。 趙倜見到張作霖打來大獲全勝的電報,又聽說“吳佩孚業已陣亡”,於是命令其弟趙傑和部下寶德全襲擊直系留在河南鄭州的部隊。 誰知吳佩孚早已任命馮玉祥為後防總司令,並代理其直魯豫巡閱副使之職。
戰爭結束後,馮玉祥被任為河南督軍。 馮玉祥治豫第一要務即為恢復秩序,安撫人民,首先委任鹿鐘麟為員警廳長。 開封城內外治安尤其緊要,馮玉祥親率衛隊出巡,捕獲亂兵數名,就地正法,地方始得安靖。 後派李鳴鐘等為各屬鎮守使,以剿匪安民。
馮玉祥還頒佈《督豫施政大綱》十條,從嚴查辦貪官劣紳,罰款用來興辦公益事業。 他抄沒趙倜全部財產,盡行充公,大辦教育。 他派餘心清創辦“中州大學”(後改名為河南中山大學)及第一女子中學。 馮玉祥還設立平民工廠三處,以為貧民學習工藝的場所。
此外,馮玉祥對交通事業也花大力氣改善,原計劃全省建設長途電話及長途汽車公路。 只可惜馮玉祥督豫僅4個多月,即行去職,其成績則電話僅得潼關、婦德、許昌三線,汽車公路則僅修周口、潼關兩路而已。 其建設計畫及種種政策,沒有全部實現。
在財政方面,馮玉祥以薛篤弼為河南省財政廳長,維持紙幣及銅元票兌現,並停辦苛稅雜捐、清理積弊。 當時河南駐軍甚多,軍費浩繁,馮玉祥以節儉廉潔厲行上下,對其他各軍均按時發餉,唯馮玉祥之第十一師則餉不多發,也從未向大城市派款。
馮玉祥就任河南督軍後,馬上進行整訓和擴充軍隊,改編了兩個補充團和一個學兵團,不久又將這三個團擴大為三個混成旅。 此時,馮玉祥有了一個師又三個混成旅的實力,馮軍成為了一支舉足輕重的部隊。 期間他舉辦了“高級戰術研究會”,由段其澍主持,凡第十一師營副以上軍官均須輪班聽講。 其次將“衛隊團”改為“學兵團”,以石敬亭為團長,分三營,挑選嚴格,相當於初級幹部之養成所,並將“手槍隊”中又添設“自行車隊”“汽車隊”,購置卡車十二輛,均受軍事訓練,為作戰運輸之用。
自馮玉祥任河南督軍後,勵精圖治,省政一新。 時隔不久,“模範軍隊”“平民督軍”等盛譽已蜚聲全國,聲望淩駕于吳佩孚之上。