劉伯溫過了兩年的隱居生活，本來希望遠離世間是非爭奪。但是，他的名聲實在太大，甚至被民間百姓渲染成了一位活神仙般的人物，這就無法避免政敵的嫉妒和皇帝的猜疑。洪武六年，劉伯溫的政敵胡惟庸當了左丞相，指使別人誣告劉伯溫，說他想霸占一塊名叫“茗洋”的“有王氣”的土地做自己的墳墓，圖謀不軌。

早就對劉伯溫放心不下的明太祖聽到誣告后果然剝奪了劉伯溫的封祿。劉伯溫非常惶恐，于是親自上南京向明太祖謝罪，并留在南京不敢回來。洪武八年，有病在身的劉伯溫由皇帝朱元璋所派使者護送回家，不久在家憂憤而死，享年65歲。

劉伯溫死后，葬于青田武陽夏山。據說，劉伯溫死前曾預言胡惟庸必敗，到時明太祖會為自己平反昭雪，他還特留下一封密奏給兒子，要他在日后明太祖想起自己的時候再上奏。5年后，胡惟庸果然垮臺，又10年后，劉伯溫果然被平反。明太祖還賜給劉氏家族金書鐵券，特批劉氏成員可憑此免一次死罪。