司馬遷是中國歷史上第一位中書令
中書令是幫助皇帝在宮廷處理政務的官員， 中書令負責直接向皇帝遞交大臣的密奏，
漢武帝時， 尚書令作為中書令屬官， 在漢武帝時尚書由中書令負責， 尚書令是中書令的謁者， 故稱“中書謁者令”。 元帝時， 中書令權勢甚至比丞相都大， 而漢成帝元年中書令石顯降為中書謁者令， 中書令不再是要職， 在漢成帝四年“罷中書宦官”廢中書令， 完全終止漢武帝建立的中書尚書制度， 削弱皇權改內廷尚書為朝廷官。
三國魏文帝時， 宮內圖書的整理逐漸不拘于宦官，
南北朝時， 中書令一官最為清貴華重， 常用有文學才望者任職。 謝安擔任中書令執政， 地位開始日益提高。 十六國時前秦的王魚擔任中書令， 職高位隆， 諫言朝政。 北周官制與各代不同， 其內史中大夫即是此官。
隋唐之際， 中書令與門下省長官侍中、尚書省長官尚書僕射共同執掌宰相之權。 宋代中書令成為虛銜， 無實權。 元代中書令又掌宰相職權， 至明代， 撤銷中書令一職， 權歸皇帝， 自此中書令不復存在。
不同的朝代， 中書令權力大小不一， 有的朝代也不設此官職。