漢武帝死後， 立了他的小兒子劉弗陵繼承皇位， 並托咐大將軍霍光輔政， 誰知劉弗陵是個短命皇帝， 八歲登基， 二十一歲就死了， 沒留下子嗣繼承大業。 國不可一日無君， 大將軍霍光立馬召開高層會議， 征選皇帝人選， 大家商議來商議去， 覺得只有昌邑王劉賀比較合適， 於是一個詔書， 劉賀就稀裡糊塗地跑來長安當了皇帝了。
誰知， 劉賀這個人只知道吃喝玩樂， 打獵鬥獸， 不理什麼朝政， 還覺得朝廷裡的大臣個個正經八兒， 不好玩， 居然先後將昌邑的200多個臣屬都召了來， 破格提拔當了大官， 整日陪他遊戲玩樂。 劉賀當皇帝到二十七天的時候， 眼看著一個月的試用期就要到了， 大將軍霍光一看， 這個人當皇帝根本不合格呀， 於是一咬牙， 夥同朝裡大臣共同彈劾劉賀， 讓皇太后下詔將劉賀這個皇帝就給廢了。 因此， 歷史上， 劉賀就成了“漢廢帝”。
劉賀雖然不稱職，
一則大將軍霍光是漢武帝的托孤大臣， 又任大將軍之職， 手握兵權， 位高權重， 漢昭帝又去世得早， 其實直到漢宣帝時， 霍光的影響力還是非常大， 何況劉賀只當了二十七天皇帝，
二則劉賀初來乍到， 羽翼未豐， 大臣們還不怎麼認同他這個皇帝。 說到底還只是個傀儡皇帝而已。 再加上廢劉賀， 除了劉賀昌邑的臣屬， 朝廷幾乎全部的大臣都贊同。 這樣， 劉賀便沒有了可以依託的基礎。
那麼皇帝劉賀被廢後， 按照常理， 他不能再封王及侯， 也就是不能有自己的封地， 最後怎麼又成了海昏侯呢？
劉賀被廢黜後， 雖然准許他回到故地昌邑去生活， 但不能再稱王， 他的原封地昌邑也被撤除， 變成了山陽郡， 山陽郡太守也不是他， 而是張敞。 只賜給他兩千戶作為日常生活開支。
之後， 漢宣帝劉詢上臺， 他開始對當過二十幾天的劉賀心中有所忌憚， 害怕劉賀會作出什麼威脅他皇位的舉動來， 後來發現劉賀日子過得很頹廢， 根本不值得害怕， 為了籠絡人心， 體現他的德政， 便下詔封了劉賀一個封地在海昏的侯， 海昏為豫章郡下轄的一個縣。