張廷玉出身於書香門第官宦名家， 他的父親張英是康熙時期大學士， 是清代著名大臣。 張廷玉二十九歲高中進士， 並被點為翰林。 三十三歲那年， 被康熙看中， 認為他持重得體， 成為康熙皇帝貼身低等小秘書。 四十五歲時升為禮部侍郎。
康熙去世， 雍正登基， 見他“氣度端凝， 應對明晰。 ”迅速升他為禮部尚書。 雍正是中國歷史上有名難伺候的皇帝， 對科舉出身的漢族大臣尤其缺乏好感， 而對他卻一見如故欣賞至極。 不論大事小情都要和他商量， 凡有諭旨均由他繕寫。 雍正與他君臣相得十三年， 君臣感情至好， 甚至一天也不能相離。 雍正五年五月， 張廷玉生了一段時間病， 雍正說：我連日臂痛， 大學士張廷玉患病， 此人如朕手臂。 ”此事傳開為一時佳話。
雍正末年， 張廷玉回家省親， 皇帝寫信給他說：“朕即位十一年來， 朝廷之上近親大臣中， 只和你一天也沒有分離過。
乾隆十四年， 張廷玉一直想著死後能入太廟和乾隆對著幹， 敢和當今皇上較勁這不是吃飽了就是腦子當機了。 乾隆以張廷玉年逾古稀為由， 准他不必早朝， 遇天熱， 或颳風下雨， 可以不必入內， 他的內閣首輔位置由訥親取而代之。 張廷玉明晰皇上此舉的真正意圖， 於是立即上疏請求辭去兼管吏部事務的職務， 要求回鄉， 這次乾隆准了。 張廷玉奉請入朝謝恩， 派了自己的兒子去當前鋒。
本來就有意見的乾隆這下可好， 怒火中燒， 乾隆很惱怒：“張廷玉就在京城， 即使病得很重， 就是爬著來， 也該來謝恩。 為自己要賞賜時能親自上朝， 可是謝恩時就不能親自來了， 這樣對待朝廷給他的莫大恩惠， 好像這都是他應該得到的，