在康熙一朝， 有兩個廉吏最為有名， 一是于成龍， 二是張伯行。 于成龍被稱為“天下第一廉吏”， 而張伯行卻被譽為“天下第一清官”。
張伯行， 順治八年（1651）出生于河南儀封（今蘭考）。 他自幼聰明好學， 十三歲時就通讀四書五經， 康熙二十年（1681）， 張伯行考中舉人。 四年後， 中殿試三甲八十名， 賜同進士出身。 康熙三十一年（1692）， 授內閣中書， 從此步入仕途。
康熙三十八年(1699)六月， 儀封城北的大堤因遭洪水衝垮， 張伯行招募民工用口袋裝土填堵。 河道總督張鵬翮巡視黃河後， 上疏推薦張伯行治理河務， 康熙命他以原官銜督修黃河南岸二百餘裡。
康熙四十二年（1703）， 張伯行因治理黃河有功， 授任山東濟寧道。 當時正值災荒， 他到任後立即開倉賑濟。 為此， 山東布政使責備他獨斷專行， 要上疏彈劾他， 張伯行認為“倉穀為輕， 民命為重”， 據理力爭， 最後布政使只好放棄了彈劾。
康熙四十五年（1706）， 康熙南巡時， 賜予張伯行“布澤安流”的匾額以示嘉獎。 不久， 張伯行升任江蘇按察使。 按照官場舊制， 新任的官員照例要給巡撫、總督等上司送禮， 以示尊敬。
然張伯行不僅嫉惡如仇， 從不與貪官污吏為伍， 而且敢於抵制上司的橫很暴斂。 正因為如此， 張伯行受到了以總督噶禮一夥人的嫉恨和排擠。
但是， 在舉薦的名單中竟無一人推薦張伯行， 康熙帝沒有看到張伯行的名字， 就對總督、巡撫申斥道：“朕聽說張伯行居官清廉， 是個難得的棟樑之才， 你們卻不舉薦！”說完又轉向張伯行：“朕很瞭解你， 他們不舉薦你， 朕舉薦你， 將來你要居官而善， 做出些政績來， 天下人就會知道朕是名君， 善識英才；如貪贓枉法， 天下人便會笑朕不識善惡。 ”
康熙當場就破格提拔張伯行為福建巡撫， ， 並賜予“廉惠宣猷”的匾額。 在福建巡撫任上， 張伯行上疏強求免去臺灣、鳳山、諸羅三縣因災荒而欠交的賦稅。 他建鼇峰書院， 拿出自己的藏書， 搜羅前代文人的文集刊印成《正誼堂叢書》， 用來教育學生。 他抑惡揚善， 造福百姓， 使得全省風氣大變， 官清民樂。
康熙四十八年（1709）， 張伯行調任江蘇巡撫。 適逢布政使宜思恭因虧空被總督噶禮彈劾罷免， 康熙派尚書張鵬翮查處， 張伯行行文噶禮要求聯名上疏，
康熙五十年（1711）， 江蘇鄉試發生舞弊案， 副主考趙晉內外勾結串通， 大肆舞弊， 放榜時， 蘇州士子大嘩。
康熙命張伯行、噶禮通戶部尚書張鵬翮、安徽巡撫梁世勳會審此案。 由於牽涉噶禮受賄五十萬兩， 噶禮心中不安，他便找出張伯行的所謂七條罪狀上奏康熙，康熙帝命二人都解職，後幾次改派官員審理，竟然得出噶禮暗中受賄事屬誣告，張伯行應于撤職的結論。
但康熙帝堅信張伯行為官清正廉潔，於是奪去噶禮的官位，命張伯行複職。
康熙五十四年（1715），有人以“狂妄自矜”的罪名彈劾張伯行，但康熙帝還是認為他無罪可治，將他調到京城，留任南書房行走。不久，張伯行到南書房任職並兼任倉場侍郎，充當順天府鄉試正考官。
康熙五十九年（1720），張伯行授為戶部侍郎，又充當會試副考官。康熙六十一年（1722），張伯行奉旨赴千叟宴，康熙稱讚他是“真能以百姓為心者”，並賜予“天下第一清官”匾額。
雍正元年（1723），張伯行提升為禮部尚書，雍正帝賜他“禮樂名臣”的匾額。雍正三年（1725）二月十六日，張伯行病逝，享年七十五歲。
噶禮心中不安，他便找出張伯行的所謂七條罪狀上奏康熙，康熙帝命二人都解職，後幾次改派官員審理，竟然得出噶禮暗中受賄事屬誣告，張伯行應于撤職的結論。但康熙帝堅信張伯行為官清正廉潔，於是奪去噶禮的官位，命張伯行複職。
康熙五十四年（1715），有人以“狂妄自矜”的罪名彈劾張伯行，但康熙帝還是認為他無罪可治，將他調到京城，留任南書房行走。不久，張伯行到南書房任職並兼任倉場侍郎，充當順天府鄉試正考官。
康熙五十九年（1720），張伯行授為戶部侍郎，又充當會試副考官。康熙六十一年（1722），張伯行奉旨赴千叟宴，康熙稱讚他是“真能以百姓為心者”，並賜予“天下第一清官”匾額。
雍正元年（1723），張伯行提升為禮部尚書，雍正帝賜他“禮樂名臣”的匾額。雍正三年（1725）二月十六日，張伯行病逝，享年七十五歲。