在民間傳說中， 劉伯溫可以與諸葛亮相提並論。 不過這兩個人又有所不同， 一個是劉備的軍師， 被劉備奉為上賓， 後來做了丞相;一個是大明朝的開國元勳， 幫助朱元璋做了很多事情。 不過兩個人的結局都很慘， 諸葛亮死於北伐的五丈原;劉伯溫卻被皇帝朱元璋偷偷害死在老家。 傳聞是因為劉伯溫在跟朱元璋對話時不小心說錯了一句話。 這究竟是怎麼回事呢?
劉伯溫小時候， 就展現了驚人的天賦， 對於讀過的書， 基本上能夠過目不忘， 他的父親從小就教他習字讀書， 而劉伯溫也是十分好學， 讀書的速度也是很快， 據說能夠一目七行。 普通人如果這樣讀書， 恐怕不會記住很多， 但是劉伯溫卻不一樣， 雖然他閱讀速度很快， 但是效率也很高， 書中的內容都牢牢地記在了他的心裡。 他十二歲的時候， 就參加了鄉試， 並且考中了秀才， 同村的人都稱他是“神童”。
劉伯溫在二十三歲的時候， 考中了進士， 但是因為當時元朝已經是走到了末路， 各地都爆發了戰爭， 所以劉伯溫只好在家裡又呆了三年， 後來才被元朝的統治者派到了江西去做官。 劉伯溫上任後， 明察秋毫， 並且不畏強暴， 對於那些無法無天的地主，
到至正二十年（1360）三月， 劉伯溫已在家閒居兩年。 其時， 朱元璋已是元末農民起義軍中較有實力的一支。 隨他揭竿起義的人士， 多半是淮西家鄉的哥們， 如徐達、沐英等， 掄槍使棒衝鋒陷陣都是好漢， 但審時度勢運籌帷幄都不在行。 經碩儒朱升的推薦， 求才若渴的朱元璋找到了劉伯溫， 請他出山。
對於劉伯溫的到來， 朱元璋給予足夠禮遇和極其重視。 劉伯溫見朱元璋愛才惜才用才， 便向朱元璋面陳了他的“時務十八策”。 其中， 十分重要的就是讓朱元璋抓住機遇， 奪取江山， 稱雄天下。 當時， 天下稱王之人已有好幾人， 除韓林兒， 還有陳友諒、張士誠、方國珍等。
後來， 又通過幾次長談， 朱元璋知曉劉伯溫是位精通天文地理之高人。 乞丐出身的朱元璋， 對卜卦、推命一類的象緯之學深信不疑， 劉伯溫的勸說被朱元璋當作“神諭”。 在這一點上， 可以肯定地說， 是劉伯溫促成了朱元璋的皇帝夢。
劉伯溫投奔朱元璋之初的幾年， 主要是承擔軍師的角色。 他每獻一計便成一事， 因此深得信任。 朱元璋對他說：“先生有至計， 勿惜盡言。 ”每逢軍國大事， 朱元璋有吃不准的地方， 必請教劉伯溫。 他從不叫劉伯溫的名字， 而是尊敬地喊“老先生”。
當了皇帝後， 朱元璋猜忌心日重， 總是害怕手握重權的開國功臣謀反。 有一天，他把劉伯溫找來密談，就撤銷李善長宰相職務之事徵詢意見。劉伯溫當即表示反對。他說：“李善長資歷老，又練達，能調和諸位大將及勳舊的矛盾，適合當宰相。”朱元璋大惑不解道：“李善長多次構害於你，欲致你於死地，你怎麼還為他說話？”
劉伯溫頓首答道：“朝廷換宰相，就好比大房子換立柱。立柱必須是一根又直又粗又長的大木頭，方可支撐房梁的重量。皇上首先得找一根新的大木頭，方可把舊的立柱換掉。如果用一堆小木頭捆起來充當大木頭去換立柱，那麼，這座房子最終會倒塌。”
後來，李善長終究還是被殺掉了，朱元璋找了3個在他看來可以當作“立柱”的人，再次向劉伯溫徵詢意見。劉伯溫仍是搖頭。朱元璋有點不高興，說：“我選的宰相，沒有哪個比得上你老先生。乾脆，這個宰相你來當好了。”劉伯溫小心回答：“臣疾惡太盛，又耐不得細繁。若強當宰相，必然會辜負陛下的大恩。天下這麼大，何患無才，惟願明主悉心訪求。只不過，方才說到的這三個人，的確都不能當宰相。”
劉伯溫的這次議政，肯定有違聖意。因為此次談話之後，楊憲、汪廣洋及胡惟庸都先後拜相，但不久又相繼被朱元璋誅除。事後檢點，朱元璋承認劉伯溫識人更高一籌，卻對劉增大了戒心：一個人把什麼都看得這麼透徹，對猜忌成性的朱元璋來說，絕不是一件讓他愉快的事。
洪武四年（1371）年，劉伯溫在追隨朱元璋11年之後，經過多次請辭，終於如願以償退休歸田。
61歲的劉伯溫回到老家後，既為避禍，也為娛心，便徹底做了一名田舍翁。他每日只做兩件事：飲酒和弈棋。當地官員慕名求見，他一概謝絕。儘管如此謹慎，還是惹來了大禍，差點讓朱元璋砍了腦袋。
南田有個地方叫淡洋，一直是個鹽販聚齊、盜賊出沒的地方。劉伯溫還鄉後，淡洋的治安狀況並沒有改善。為家鄉計，亦為朝廷計，劉伯溫委託兒子劉璉給皇帝上書，建議在淡洋設立巡檢司，調派軍隊駐守，使奸民無法作亂。
這封信沒有通過中書省，而是直接送給了朱元璋，爾後朱元璋將信批到中書省處理。時任左丞相胡惟庸看到奏書，心裡頭很不是滋味。當初，劉伯溫在朱元璋面前說自己既無宰相之才，亦無宰相之德，胡惟庸早恨得牙癢癢的，拿到劉璉的信後，他便找來心腹密謀報復之計。
不久，被胡惟庸派往青田調查的兵部官員回來，向朱元璋上奏了調查結果。
明眼人一看便知，這是胡惟庸的構陷。果然朱元璋頓時暴跳如雷，即刻下旨褫奪劉伯溫的俸祿。
聖旨到達南田之日，劉伯溫誠惶誠恐，馬上啟程前往南京向朱元璋當面謝罪。朱元璋正在氣頭上，不肯召見。劉伯溫無奈，便以待罪之身客居京城三年有餘。而這期間，胡惟庸深得朱元璋信任，取代汪廣洋當上宰相。劉伯溫得知消息後，對兒子說：“我早就看出胡惟庸不是好人，如果我的話不靈驗，那便是蒼生的福氣。”
風燭殘年的劉伯溫，面對一個忌恨于他的皇帝，一個欲置他于死地的宰相，可謂淒風苦雨度日如年，不久病倒于客邸。胡惟庸聞知，便假傳聖旨，指派御醫前來問診。據說吃了御醫給的湯藥後，劉伯溫腹中便長了一個拳頭大的石頭。
劉伯溫知道自己不久于人世，於是在洪武八年三月（1375）上書乞求返還故里，朱元璋批准。劉伯溫回家不到一個月，便撒手塵寰。
有一天，他把劉伯溫找來密談，就撤銷李善長宰相職務之事徵詢意見。劉伯溫當即表示反對。他說：“李善長資歷老，又練達，能調和諸位大將及勳舊的矛盾，適合當宰相。”朱元璋大惑不解道：“李善長多次構害於你，欲致你於死地，你怎麼還為他說話？”劉伯溫頓首答道：“朝廷換宰相，就好比大房子換立柱。立柱必須是一根又直又粗又長的大木頭，方可支撐房梁的重量。皇上首先得找一根新的大木頭，方可把舊的立柱換掉。如果用一堆小木頭捆起來充當大木頭去換立柱，那麼，這座房子最終會倒塌。”
後來，李善長終究還是被殺掉了，朱元璋找了3個在他看來可以當作“立柱”的人，再次向劉伯溫徵詢意見。劉伯溫仍是搖頭。朱元璋有點不高興，說：“我選的宰相，沒有哪個比得上你老先生。乾脆，這個宰相你來當好了。”劉伯溫小心回答：“臣疾惡太盛，又耐不得細繁。若強當宰相，必然會辜負陛下的大恩。天下這麼大，何患無才，惟願明主悉心訪求。只不過，方才說到的這三個人，的確都不能當宰相。”
劉伯溫的這次議政，肯定有違聖意。因為此次談話之後，楊憲、汪廣洋及胡惟庸都先後拜相，但不久又相繼被朱元璋誅除。事後檢點，朱元璋承認劉伯溫識人更高一籌，卻對劉增大了戒心：一個人把什麼都看得這麼透徹，對猜忌成性的朱元璋來說，絕不是一件讓他愉快的事。
洪武四年（1371）年，劉伯溫在追隨朱元璋11年之後，經過多次請辭，終於如願以償退休歸田。
61歲的劉伯溫回到老家後，既為避禍，也為娛心，便徹底做了一名田舍翁。他每日只做兩件事：飲酒和弈棋。當地官員慕名求見，他一概謝絕。儘管如此謹慎，還是惹來了大禍，差點讓朱元璋砍了腦袋。
南田有個地方叫淡洋，一直是個鹽販聚齊、盜賊出沒的地方。劉伯溫還鄉後，淡洋的治安狀況並沒有改善。為家鄉計，亦為朝廷計，劉伯溫委託兒子劉璉給皇帝上書，建議在淡洋設立巡檢司，調派軍隊駐守，使奸民無法作亂。
這封信沒有通過中書省，而是直接送給了朱元璋，爾後朱元璋將信批到中書省處理。時任左丞相胡惟庸看到奏書，心裡頭很不是滋味。當初，劉伯溫在朱元璋面前說自己既無宰相之才，亦無宰相之德，胡惟庸早恨得牙癢癢的，拿到劉璉的信後，他便找來心腹密謀報復之計。
不久，被胡惟庸派往青田調查的兵部官員回來，向朱元璋上奏了調查結果。
明眼人一看便知，這是胡惟庸的構陷。果然朱元璋頓時暴跳如雷，即刻下旨褫奪劉伯溫的俸祿。
聖旨到達南田之日，劉伯溫誠惶誠恐，馬上啟程前往南京向朱元璋當面謝罪。朱元璋正在氣頭上，不肯召見。劉伯溫無奈，便以待罪之身客居京城三年有餘。而這期間，胡惟庸深得朱元璋信任，取代汪廣洋當上宰相。劉伯溫得知消息後，對兒子說：“我早就看出胡惟庸不是好人，如果我的話不靈驗，那便是蒼生的福氣。”
風燭殘年的劉伯溫，面對一個忌恨于他的皇帝，一個欲置他于死地的宰相，可謂淒風苦雨度日如年，不久病倒于客邸。胡惟庸聞知，便假傳聖旨，指派御醫前來問診。據說吃了御醫給的湯藥後，劉伯溫腹中便長了一個拳頭大的石頭。
劉伯溫知道自己不久于人世，於是在洪武八年三月（1375）上書乞求返還故里，朱元璋批准。劉伯溫回家不到一個月，便撒手塵寰。