杨素在岐州督建宫殿，依山而建，难度可想而知，修建宫殿的丁夫，在严厉的督责下日夜赶工，疲惫不堪。然而谁也没有想到杨素是如此的残忍，对于那些体力不支者，不但不善加对待，反而将他们推下坑谷，覆以土石，充当地基。如此惨绝人寰的行径，令人发指。一时间岐州不断地发出凄厉的哀号声。
宇文恺虽说杨素不让过问工程，但是仍时不时现场督导丁夫修建宫殿。见到杨素的残忍行径，不免心惊肉跳。阻拦劝阻，杨素根本毫无所动。
“宇文大人，你或许没有上过战场，在战场懦夫的下场就是死，如今为皇上修建行宫也是一场战争，一场没有硝烟的战争。所以疲惫不堪的人根本没有活下去的必要！”
宇文恺满腔怒火，“我或许不会行军打仗，但是当年高相国修建长安城的时候也没有你这般残暴！就是我督导修建的山阳渎也不会以死人做地基，皇上若是知道着里面埋藏了无数的含冤死去的百姓，也不会安心的住在这行宫里的。”
杨素被宇文恺激怒了，怒斥道；“你放肆！还真没有人敢在本将军面前逞威风！来人啊，军法伺候，杖责二十！”
封德彝见状怕杨素把事情闹大，便急忙劝解杨素。杨素好不容易才消下了怒气。
宇文恺也气愤地离开了岐州。
“大哥，万一他告到皇上哪儿，我们该怎么办啊？”
“怕什么，我们是为皇上办事，如今工程进行了一半，难不成让我们半途而废！”
杨素站在山上眺望脚下，突然想起宇文恺提起高颎，更是难以解气，“早晚有一天我会成为大隋朝廷威望勋著的人，高颎能办的事情我同样能办到，高颎办不到的我也能做到！”
宇文恺回到京师将详情告诉了高颎，高颎闻之大惊。但是也不敢贸然奏明杨坚。犹豫再三还是决定前往岐州巡视一番。
高颎刚刚进入岐州境内便发现哀鸿遍野，惨不忍睹。自然也是被深深地震惊了！
“都说杨素是杀人魔王，如今他真的把岐州变成了人间地狱。我如不及早让皇上知道，恐怕会有更多的百姓遭殃，更多的家庭妻离子散。如今虽然没有了战争，可是他却在制造战争！”高颎并没有滞留太长时间便回到了长安连夜向杨坚如实相奏。
杨坚大惊失色，当夜又和高颎前往岐州，来到岐州见士兵正在追杀逃亡出来的民夫，死者相继于道。杨坚若不亲眼所见自然也不会相信会有这等残暴之事发生。杨坚当即拿起弓箭盘马弯弓将领头的将佐射杀。众人见是杨坚，惶恐不已，跪拜迎接，百姓们则纷纷跪拜在地哭诉冤情。
杨坚悲愤不已，“杨素竭百姓之力，雕饰离宫，为朕结怨于天下！”
杨坚望着哭诉的百姓不禁泪流满面，亲自扶着百姓，令人好生安顿，医治其伤。
杨素急匆匆地从山上赶到时，杨坚早已离开了长安，他也接到了一道圣旨：将杨素押解至京。
封德彝六神无主地赶赴京师，将情况告诉了杨约。杨约的眼神里也闪现了几丝慌乱，他想不到杨素居然为了建功立业如此胡作非为。但是很快便镇静了下来，凝神思考之后便认为目前杨素并无性命之忧，要想让杨素平安无事，目前只有一个人能够说服杨坚，那就是晋王杨广。杨约写了一封信让封德彝前往扬州交给杨广，希望杨广能够出面相救。
杨广接到杨约的信后便和宇文述商议了一番，决定做个顺水人情，
杨广向杨坚上了一份言辞恳切的奏疏，陈述杨素在平定江南和讨伐叛乱的功业，请求杨坚网开一面，又说正是自己提出修建行宫才连累了杨素，愿意与杨素一起受罚。伽罗也在身旁相劝。
杨坚最终释放了杨素，并且听从杨广的劝告仍让杨素继续督造行宫。
杨素释放后对高颎存在的几丝敬重荡然无存，有的只是恨意和心怀不满。
然而杨广却是十分高兴，因为在不知不觉间让杨素和高颎反目成仇，还让杨素对自己存有几分感激。
接下来发生的事情更使杨广认为似乎一切都在自己的掌握之中。
