西晉末年的時候， 日益沒落的司馬氏政權因為一場宗室內部之間自相殘殺的“八王之亂”更加的江河日下。 同時， 這個事件對於國內匈奴五部的控制力也產生了影響， 日益衰減。 這時候， 一直覬覦權力蠢蠢欲動的匈奴人劉淵抓住了這個中原板蕩之機， 在西晉北部版圖上自立了門戶， 建立了漢朝， 並且自己稱帝。 自此， “五胡亂華”的序幕被拉開了。
劉淵生得一副好相貌， 而且身姿挺拔， 受到了方時人的尊重。 不僅如此劉淵還是一個文武雙全的才子， 這也為他贏得了司馬昭的刮目相看。 劉豹去世以後， 劉淵作為兒子代替了他的職位， 成為了南匈奴的左部帥， 他也擔任過北部都尉、建威將軍、五部大都督等很多不同的職位。
在劉淵任職期間， 他“明刑法， 禁奸邪， 輕財好施， 推誠接物， 五部俊傑無不至者”， 各方面都做的特別好， 很多人士都慕名前來拜訪， 劉淵的威望也有了很大的提升。
爆發“八王之亂”以後， 成都王司馬穎開始執鎮鄴城， 那個時候他封了劉淵為甯朔將軍， 負責監五部的軍事。 那個時候， 由於戰亂， 中原的大部分漢人都流徙部分江南地區， 這就在並州境內胡漢勢力的對比和人口的分佈上產生了非常大的變化。
當時的匈奴貴族劉宣等一些人看到司馬氏骨肉相殘的局面， 很是開心， 瞬間四海鼎沸， 因為他們覺得有機會興邦複業了， 而且有很大的希望。 於是， 他們就秘密推舉當時名望很高的劉淵為大單于。 得到消息的劉淵， 經過幾番周折， 劉淵終於擺脫了司馬穎， 實現了自己的人生價值。
晉武帝時期， 王渾、王濟等人舉薦劉淵去擔任消滅孫吳的重任， 但是這個舉薦卻遭到了孔恂、楊珧等一些人的強烈反對， 尤其是諫辭中“非我族類， 其心必異”這八個字， 不但徹底傷了劉淵的自尊心， 而且還反映了漢匈之間無法消滅的民族隔閡。