漢武帝臨死前指定了五位托孤大臣， 分別是霍光、上官桀、田千秋、桑弘羊和金日磾。 這五位中有一個不是漢朝人， 而是匈奴王子， 此人就是金日磾。
金日磾原本是休屠王太子， 在霍去病對河西的進攻中被俘， 成為漢武帝宮中養馬的奴隸。 因為是匈奴人， 所以天生會養馬， 他每天勤勤懇懇的工作， 默默的聽著周圍人的談話， 學到不少知識。 金日磾養的馬又肥又壯， 漢武帝在一次宴會中想看看宮中的馬匹， 便注意到了這個身材高大、神情嚴肅的人。 由於金日磾對於養馬的情況問答如流， 武帝很喜歡他便讓他做了馬監， 不久又提升為侍中， 陪伴在武帝身邊。
金日磾真正取得漢武帝的信任是因為這件事——平定宮變， 救了漢武帝的命。 刺客名為馬何羅， 因為與江充參與圍剿太子的戰鬥， 後來查明真相， 江充被漢武帝滅族。 馬何羅也意識到自己早晚也要被殺， 便決定魚死網破， 刺殺漢武帝。 一天， 馬何羅悄悄溜進了宮， 被金日磾看到， 金日磾便躲在武帝的寢宮裡。 馬何羅剛進去就發出了聲響， 金日磾上前將其抱住， 大喊有刺客。 武帝和衛士被驚醒， 制服了馬何羅， 平定了這場宮變。
經過宮變一事， 武帝更加相信金日磾的忠誠， 但是金日磾並沒有驕橫橫行， 依然謙虛嚴謹。 原本是匈奴王子， 卻被漢武帝的人格魅力所征服， 忠心耿耿的輔佐武帝和昭帝。
《漢書》對金日磾這樣記載：金日磾夷狄亡國， 羈虜漢庭， 而以篤敬主， 忠信自著， 勒功上將， 傳國後嗣， 世名忠孝。