衛氏一門顯赫後, 京城中有歌謠說:生男無喜, 生女無怨, 獨不見衛子夫霸天下。 意思是說衛氏一門的顯貴全靠了衛皇后。 其實不然, 在兩漢時期, 左右朝政的外戚大多是靠裙帶關係竅居高位的, 而衛青、霍去病卻是出生入死, 浴血奮戰, 為國家做出了重大貢獻。 正因為如此, 即使後來衛皇后失寵, 二人在朝廷的地位也絲毫未受影響。
根據褚少孫補敘:家奴出身的衛青變成了貴極人臣的大將軍後, 朝中無不巴結奉承。 適時, 平陽公主寡居在家, 要在列侯中選擇丈夫, 許多人都說大將軍衛青合適, 平陽公主笑著說:他是我從前的下人,
注:而根據司馬遷記敘, 衛青尚平陽主當是在元鼎二年後(西元前115年), 不是元朔五年(西元前127年)加封大將軍以及元狩四年(西元前122年)加封大司馬後。
衛青為人謙讓仁和, 敬重賢才, 從不以勢壓人。 漢武帝欲以群臣下大將軍, 唯有汲黯不肯, 衛青還經常向汲黯討教。 後來, 漢武帝對霍去病恩寵日盛, 霍去病的聲望超過了他的舅舅衛青, 過去奔走于大將軍門下的許多故舊, 都轉到了霍去病門下。
衛青率軍與匈奴作戰, 屢立戰功, 按《史記》記載其所得封邑總共有一萬六千七百戶, 《漢書》為二萬二百戶。 雖然戰功顯赫, 權傾朝野, 但從不結黨, 更不養士, 蘇建曾經勸告衛青養士以得到好名聲, 衛青認為養士會讓天子忌諱, 而且作為臣子只需要奉法遵職就可以了, 何必去養士呢?而驃騎將軍霍去病也跟舅舅衛青抱有同一種看法。
元封五年(西元前106年), 大司馬大將軍衛青去世,
班固在《漢書 敘傳》裡是這樣稱讚衛霍的:長平桓桓, 上將之元, 薄伐獫允, 恢我朔邊, 戎車七征, 沖輣閑閑, 合圍單于, 北登闐顏。 票騎冠軍, 猋勇紛紜, 長驅六舉, 電擊雷震, 飲馬翰海, 封狼居山, 西規大河, 列郡祈連。 述衛青霍去病傳第二十五。