隋文帝的五个儿子，没有一个有好下场的。长子杨勇，先立为太子，后废为庶人。次子杨广承帝位，但暴虐无道，被奸臣宇文化及所杀。三子秦王杨俊，以奢纵免官。四子蜀王杨秀，五子汉王杨谅，都以罪废为庶人。
秦王杨俊，协助父亲平定天下，立过许多功劳。隋初，出任并州总管。后来逐渐奢侈，违犯制度，出钱放债取息，老百姓深受其害。文帝派人查办此事，惩办了一百多人。但杨俊恶性不改，此后又大兴土木，修建宫室，穷极侈丽。他夜以继日地与宾客、妃嫔、妓女，歌舞于水殿之上。
杨俊荒淫好色，可他的妃崔氏生性妒忌，内心愤恨不已，在瓜中投放毒物，杨俊由此患病，不得不回京治疗。隋文帝对杨俊的奢纵，十分生气，将他的官职统统免去，勒令他在王府闲住。
左武卫将军刘升劝谏道：“秦王没有其他罪过，只不过是浪费一些官物修建私第罢了，臣以为能够宽容。”文帝摇头说：“国法不可违反！”越国公杨素也进谏说：“秦王尽管有过错，但不应受到这样严惩，望陛下再仔细斟酌。”文帝说：“我是五个儿子的父亲，倘若按照你们的意思去办，何不另外制订一套有关皇帝儿子的法律？古圣先贤的周公，尚且诛杀了他的亲人管叔和蔡叔，我尽管远远比不上周公，但又怎能做出损害国法的事情呢？”到底没有同意宽宥杨俊。直到杨俊病重，才复拜上柱国。杨俊死，文帝只哭了几声就止住了，并命令将杨俊身边的侈丽之物，统统焚毁。王府僚佐请求立碑，文帝也不同意，他说：“要想求名，一卷史就足够了，哪里用得着什么碑？倘若了孙不能继承家业，立起来的碑也只能白白地让人拿去做镇石罢了。”
蜀玉杨秀，富有胆气，武艺精湛，朝臣都害怕他。他受命镇守蜀中，也是非常奢侈，车马被服，拟于天子。太子杨勇被废，杨广立为太子，杨秀心里极为不平。杨广深恐他的这个兄弟起来作乱，暗地命杨素多方搜求杨秀的不轨言行，一一送到文帝那里。文帝把杨秀召回京师，派人切责他的罪过。文帝说：“前些时秦王杨俊糜费财物，我以父亲的身分训教他。如今杨秀残害生民，我应当以君主的身分用国法制裁他。”因此，将杨秀交付执法机关审讯。
开府庆整劝谏说：“原太子杨勇已经被废，秦王又刚刚去世，陛下的儿子不多，为何对他们这样严厉？况且蜀王性情耿介，受到这样沉重的惩罚，恐怕他的生命难以保全了。”文帝大怒，要割去庆整的舌头。他对群臣说：“一定要将杨秀斩首示众，以向百姓谢罪！”又命令杨素、苏威、牛弘、柳述、越绰等大臣共同理审杨秀的案件。
为了置杨秀于死地，太子杨广又暗地令人制成木偶，身上写着文帝和汉王杨谅的名字，披枷戴锁，缚手钉心，还写着这样的字：“请西岳华山慈父圣母，赐为开化杨坚（文帝）夫妻回心欢喜”、“请西岳神兵收杨坚魂神”、“请西岳华山慈父圣母神兵9万骑，收杨谅魂神，闭在华山下，勿令散荡”。又令人将这些木偶埋在华山脚下，然后由杨素去挖掘出来，送到文帝面前。文帝看着，气得手抖心凉，咬牙切齿地说：“天下竟有这样的事么？”马上将杨秀废为庶人，幽禁于内侍省，不准他与妻子相见，而且牵连受惩者达一百多人。
《隋书·文四子传》
