在很多史書和小說中， 隋煬帝一直被描述成荒淫好色之君。 但實際上隋煬帝一生只有三個兒子， 其中兩個還都是正妻蕭皇后所生。 不過隋煬帝的兒子雖然少， 但依然產生了很大的繼承人問題， 特別是二兒子楊暕還因為喜歡人妻而丟了太子之位。
隋煬帝原本立長子楊昭為太子， 而且楊昭的表現幾乎完美。 可惜愛由於身體不好， 楊昭在大業二年（606年）就病逝了。 三子楊杲是庶出， 而且就生於大業二年。 因此楊昭去世後， 隋煬帝的嫡次子、齊王楊暕也就成為太子的唯一人選。
可能是因為缺乏競爭， 楊暕在大哥楊昭去世後越發放縱，
作為即將成為太子的親王， 楊暕身邊是美女如雲。 但不知道為什麼， 楊暕就是特別喜歡他的大姨子韋氏， 但問題是韋氏當時已經和別人結婚了。 但楊暕也不利用自己的權勢讓韋氏離婚， 而是和這個人妻私通， 還生下了一個女兒。
有一次， 楊暕找了一個術士給自己的姬妾們看相， 人妻韋氏也在其中。 結果這個術士說韋氏未來要做皇后， 說的楊暕是心花怒放。 但只有楊暕當了皇帝， 人妻韋氏才可能當皇后。 想到這一點，
原來是當時楊暕與隋煬帝之間的關係已經出現問題， 所以隋煬帝一方面遲遲不立楊暕為太子， 另一方面開始提高楊昭三個兒子的地位。 楊暕此時非常害怕隋煬帝會跳過兒子這一代， 直接傳位給孫子， 便搞厭勝來詛咒自己的三個侄子早死。
隋煬帝派人去搜查楊暕的府邸， 這些厭勝的事自然也都暴露了。 在中國古代， 皇親宮人搞厭勝等同於謀反。 隋煬帝在得知此事後憤恨地說：“朕唯有暕一子， 不然者， 當肆諸市朝， 以明國憲也。 ”而楊暕也就從此徹底告別了太子之位。