霍光被霍去病帶到長安時， 不過是一個十來歲的少年， 霍去病去世後， 霍光成為了給漢武帝開車的老司機(奉車都尉、光祿大夫)， 出則奉車， 入侍左右二十來年， 謹小慎微， 極有分寸， 從未出錯， 所以深得漢武帝的信任。
西元前87年， 漢武帝駕崩， 霍光與金日磾、上官桀一道， 共同成為年僅八歲的漢昭帝的輔政大臣， 從此拉開了掌控大漢政權的序幕。
霍光輔政， 除了及時糾正漢武帝時期諸多勞民傷財的政策， 主張於民休養生息， 取得了不錯的政績外， 還謹小慎微、防範于未然， 謹防大權旁落。
有三個明顯的例證：一是霍光阻止上官安將女兒嫁給漢昭帝;二是霍光不許給蓋長公主的姦夫加官進爵;三是霍光阻止桑弘羊安排自己的親人為官。
上官安是上官桀的兒子， 也是霍光的女婿。 上官安有一個女兒， 年僅六歲， 想嫁給漢昭帝， 意圖將來成為大漢皇后。 上官安有了這個想法，
被霍光否決了的上官安仍不死心， 轉而去找漢昭帝的姐姐蓋長公主， 並與蓋長公主達成秘密協定：蓋長公主負責安排上官安的女兒進宮成為皇后， 上官安則負責給與蓋長公主私通的丁外人加官進爵。
後來， 在蓋長公主的運作下， 上官安的女兒果然如願進宮。 上官桀、上官安父子為了報答蓋長公主、履行當初的承諾， 便向霍光提出， 應該給丁外人封侯， 霍光不同意;上官桀父子退而求其次， 請求讓丁外人為光祿大夫， 使他有機會得到皇帝的召見， 霍光仍然不許。
霍光否決上官桀父子的提議， 往好了說是大公無私。 但他這麼做， 也不能排除是為了牢牢掌控大漢政權，
因為在成為輔政大臣之前， 上官桀在大漢朝廷的地位其實要高於霍光， 後來是由於漢武帝青睞， 霍光才成了首輔大臣， 上官桀次之。 但如果上官桀的孫女成為漢昭帝的皇后， 那麼上官家族的權勢必然更進一步，
而後來上官安與蓋長公主串通一氣， 霍光不可能不知道， 否決給丁外人加官進爵的提議也就順理成章了。
桑弘羊在漢武帝時期是做過大貢獻的人， 生財有道， 極富經濟頭腦， 他所提出的鹽、鐵、酒類品略圖書館收歸國家專營等經濟政策， 為漢武帝四面征討、窮奢極欲提供了財政支援。
在霍光被任命為漢昭帝的輔政大臣時， 桑弘羊也被任命為御史大夫， 是霍光等三大輔佐大臣之後的大漢朝第四號大人物。 對於這樣掌握實權的大人物， 霍光自然不能不小心應對， 時刻防範。 所以， 當桑弘羊提出安排自己的親人進入朝廷為官時， 也被霍光一口否決了。
霍光否決了上官安的提議、否決了桑弘羊安排親人為官的請求， 自然也就得罪了上官桀、蓋長公主和桑弘羊等。 因此， 上官桀、蓋長公主、桑弘羊等都怨恨霍光。
與此同時， 漢昭帝的哥哥燕王劉旦也因為未能繼承帝位而心懷不滿， 當他探聽到上官桀等對霍光有怨懟情緒時， 便派人來到長安活動。於是，劉旦、上官桀、蓋長公主、桑弘羊等組成了反霍光聯盟。這個聯盟勢力強大，形勢對霍光很不利。
事實也是如此，當上官桀等人授意下屬上書控告霍光以權謀私、專權稽越時，霍光躲在皇宮畫室內，連朝堂都不敢進。不過，霍光比較幸運的是，他遇到了一位年紀雖然不大(十四歲)，卻深明大義、能夠明察秋毫的皇帝。
漢昭帝收到上官桀等人授意的控告霍光的上書，竟然一眼便看穿了其中的貓膩，認為這份上書是故意誣陷霍光(關於漢昭帝如何辨別這份上書是誣陷，請看本人之前所寫的小文《漢昭帝一本事，比周成王、漢高祖、文帝、景帝都強》)，霍光因此僥倖躲過一劫。
上官桀等誣陷霍光不成，便密謀讓蓋長公主假意宴請霍光，然後在酒酣之際刺殺霍光，但事情不慎揭露。
於是，霍光終於展開了反擊。元鳳元年，即西元前80年，“光盡誅桀、安、弘羊、外人宗族。燕王、蓋主皆自殺。”從此，霍光威震海內，大權獨攬。
霍光依靠謹小慎微而得到漢武帝的信任，從而爬上了大漢權力的巔峰，又依靠謹小慎微，防範于未然，不斷鞏固自己手中的權力。這就是他之所以能掌控大漢政權二十年的秘訣所在。
便派人來到長安活動。於是，劉旦、上官桀、蓋長公主、桑弘羊等組成了反霍光聯盟。這個聯盟勢力強大，形勢對霍光很不利。事實也是如此，當上官桀等人授意下屬上書控告霍光以權謀私、專權稽越時，霍光躲在皇宮畫室內，連朝堂都不敢進。不過，霍光比較幸運的是，他遇到了一位年紀雖然不大(十四歲)，卻深明大義、能夠明察秋毫的皇帝。
漢昭帝收到上官桀等人授意的控告霍光的上書，竟然一眼便看穿了其中的貓膩，認為這份上書是故意誣陷霍光(關於漢昭帝如何辨別這份上書是誣陷，請看本人之前所寫的小文《漢昭帝一本事，比周成王、漢高祖、文帝、景帝都強》)，霍光因此僥倖躲過一劫。
上官桀等誣陷霍光不成，便密謀讓蓋長公主假意宴請霍光，然後在酒酣之際刺殺霍光，但事情不慎揭露。
於是，霍光終於展開了反擊。元鳳元年，即西元前80年，“光盡誅桀、安、弘羊、外人宗族。燕王、蓋主皆自殺。”從此，霍光威震海內，大權獨攬。
霍光依靠謹小慎微而得到漢武帝的信任，從而爬上了大漢權力的巔峰，又依靠謹小慎微，防範于未然，不斷鞏固自己手中的權力。這就是他之所以能掌控大漢政權二十年的秘訣所在。