公元前74年6月5日，漢昭帝駕崩，享年21歲。因為無子，7月18日，大將軍霍光等人迎立昌邑王劉賀即位。據《漢書·霍光金日磾傳》載劉賀罪行“受璽以來二十七日，使者旁午，持節詔諸官署征發，凡千一百二十七事。”劉賀在即位二十七天內，就干了一千一百二十七件荒唐事，平均一天四十件。

然而事實上，這只是霍光等大臣的托詞。真實的原因恐怕是劉賀即位之后，急于提拔自己從昌邑帶來的僚屬，忽視了朝中重臣，得罪了以霍光為首的西漢上層統治階級中的官僚集團。憑借羅列上述所謂的罪行托詞，霍光以其不堪重任，突然發動政變，與大臣奏請15歲的皇太后(即孝昭皇后上官鳳兒，大將軍霍光的外孫女)下詔，于8月14日廢黜了劉賀，并親自送他回到封地昌邑(今山東省巨野縣昌邑鎮)，保留王號(昌邑王)，令其食邑二千戶。同年，霍光尊立衛皇后(衛子夫)唯一曾孫、戾太子劉據唯一的遺孫、18歲的劉詢為帝，是為漢宣帝。

霍光新擁立的漢宣帝劉詢心底到底有些忌憚，在即位的第二年就讓山陽太守張敞考察劉賀，發現他的“囚徒”生活很卑微不堪，公元前66年，他年紀雖然只有27歲，可是行動不便，也不再有復辟的打算。還生養了22個子女，猥瑣度日。漢宣帝看他如此可憐，保全了他的性命。

元康二年(公元前64年)，霍光寫信給山陽太守張敞：“謹備盜賊，察往來賓客。毋下所賜書?！币螽數毓賳T密切監視劉賀。從各種證據看來，劉賀之立廢，實乃削權之舉。

元康三年(公元前63年)，劉賀被貶斥到了今天的江西省永修縣一帶做了“海昏侯”。

在他的這個侯國里面，他又艱難地生活了4年直到去世。這4年中，雖然已經解除軟禁，但仍然被周邊的官吏秘密監督，例如后來的揚州刺史“柯”就上報朝廷一件事情：劉賀與一個叫“孫萬世”的人交往，孫萬世問劉賀：“在被廢除皇位前，君為什么不堅守內宮、關閉宮門，斬殺霍光，卻聽憑他們奪取皇位璽綬呢？”劉賀說：“是啊，當時太年幼，真是大大的失策啊?！睂O萬世又希望劉賀做“豫章王”，絕不要一直做這么普通的海昏侯。劉賀說：“道理是如此，但是這話不宜說啊。”于是朝廷下令查辦劉賀，差點要逮捕他。皇帝發話說：“那就削除他的3000戶封邑吧。”于是只剩下1000戶人口與賦稅，不久劉賀憤慨而死，年僅34歲。