為了避免匈奴五部叛亂，晉武帝時，匈奴五部頗具聲望的劉氏嫡子劉淵被詔往洛陽作為人質(zhì)。劉淵到了洛陽后，被漢臣贊賞他的才華和武藝。晉武帝愛才，想任用劉淵平定涼州之亂，被身邊的人勸阻。有臣子擔心劉淵以后造反，勸晉武帝除掉劉淵以絕后患，晉武帝沒有采納。劉父去世后，劉淵接任父位。劉淵在位盡心盡職，治理有方，懲惡揚善，待人坦誠，深得匈奴人支持。時有劉淵部下叛逃，因此又被朝廷免去了官職。司馬穎在成都自立為王后，任命劉淵到鄴城任職。

西晉朝政王室長期內(nèi)斗，使得天下大亂，民不安生，生產(chǎn)衰退，各地區(qū)都有叛軍起兵。匈奴族人看到漢族衰弱，劉淵族人開始密謀叛亂計劃。他們共同擁護劉淵作為首領，密謀起兵。匈奴族人派出使者到鄴城密會劉淵。劉淵得知消息后，向司馬穎提出回匈奴的請求，司馬穎沒有允許。不久，司馬穎遭到各地討伐，劉淵乘機對司馬穎說，愿意去匈奴族請來援兵相助，司馬穎聽了馬上同意了。劉淵回到部落后，馬上聚集了匈奴五部的勢力，自立為大單于。

晉朝內(nèi)亂國力衰退，國內(nèi)四分五裂才給了匈奴起兵造反的機會。匈奴部族歸附漢族，晉朝卻沒有善待匈奴，反而隨意殺戮，多引起匈奴不滿，漸漸積累了怨氣，因此一旦漢族衰弱，匈奴族就有了叛亂之心。劉淵自小習得漢文化，深懂治國得人心的道理，他在匈奴順應人心，順勢起兵，是歷史的一個必然趨勢。匈奴首領冒頓單于南下侵漢，漢高祖被打敗，于是請求將漢室公主嫁給冒頓單于并和匈奴以兄弟相稱。匈奴族接受了請求，冒頓單于就把子孫后代姓氏改為劉氏。曹魏建立政權后，曹操將在北方的匈奴分為了五部，以劉氏擔任部帥。劉淵就是這個劉氏的后代。

劉淵自小就很聰慧，以孝心得到族人認同。又喜歡漢文化，博學多才，文武雙全。劉淵逐漸在匈奴族建立起了自己的威望。劉淵前往洛陽，才華聰慧得到漢族人認可，晉武帝本打算任用劉淵，后來被臣子讒言，放棄了任用。又許多人勸諫殺死劉淵以免除后患，晉武帝雖然最后沒有殺掉劉淵，卻讓劉淵心內(nèi)不安。劉淵父親去世后，劉淵接任父親職位，開始上任。劉淵擔任官職的時候，治理有方，得到許多人的贊賞。此時西晉朝代更替，劉淵部下有人逃走也因此被免去了職位。成都王司馬穎在鄴城的時候起用了劉淵。西晉發(fā)生了八王內(nèi)亂，匈奴五部見此開始有了叛亂之心，劉淵祖父同五部首領商議密謀造反，由于劉淵深得匈奴人支持，大家于是推選劉淵為大單于。司馬穎在成都自立為王，被西晉討伐，劉淵于是以援助司馬穎為名回到了匈奴。司馬穎放劉淵回去后，劉淵受到匈奴五部民眾的擁護，自立稱王，建立了漢趙政權。漢趙反過來攻擊司馬穎，攻占了鄴城。