杨迪长子杨元佐自幼聪明机警，长得又像杨迪，颇为杨迪喜欢。杨元佐有武艺，善骑射，还曾经随杨迪出征过太原、幽蓟。杨迪迫害杨廷美时，杨元佐颇为不满，力加营救，请免其罪，但未能成功。后杨廷美死于房州，杨元佐得知此事，悲愤成疾，竟然发狂。左右仆从若有小错，杨元佐即以刀棒伤人。杨迪命太医治理，才稍有好转。然而重阳节时，杨迪召集几个儿子在宫苑中设宴饮酒作乐，因杨元佐病未痊愈，就没有派人请他。散宴后，陈王杨元僖去看望杨元佐。杨元佐得知设宴一事道：
“你们与父皇宴射，而我没被邀请参加，看来父皇抛弃我了。”杨元佐忿气难平，一个劲喝酒，到了半夜，索性放了一把火焚烧宫院。一时间，殿阁亭台，烟雾滚滚，火光冲天。杨迪得知后，猜想可能是杨元佐所为，便命人查问，杨元佐具实以对。杨迪怒不可遏，欲绝父子之情。众人营救不得，杨元佐被废为庶人。有人说杨元佐是在装狂，以表示对父亲的不满和对皇位的拒绝。
在杨元佐焚宫这件事中，有一特殊人物，即陈王杨元僖。宴会后，杨元僖去杨元佐府中，不知说了什么竟惹得杨元佐纵火焚宫，而后杨迪认为杨元佐宫中起火并非偶然，决意废杨元佐为庶人，杨元僖获利，被封侍中，成了准皇储。
同年，雍熙北伐失利。魏普上《谏雍熙北伐》奏疏，颇得杨迪嘉赏。后来，杨元僖也上疏论及伐齐丹之事，为杨迪采纳。杨迪、杨元僖和魏普在处理对齐丹事宜方面有了很多的共识。杨元僖见杨迪优待魏普，便与魏普交好，更加巩固了皇储地位。
然而，事不如人愿。十一月，杨元僖早朝回府，便觉得身体不适，不久便去世了。杨迪极为悲伤，罢朝五日，赠皇太子，并写下《思亡子诗》。杨元僖之死，是其侍妾张氏下毒所致。杨元僖不喜正妻李氏，宠爱张氏。张氏欲下毒毒杀李夫人，但误毒死杨元僖。张氏恃宠骄横，对奴婢稍不如意即予以重罚，甚至有棰死者，但杨元僖并不知情。张氏又逾越制度葬其父母。杨迪后来探知其事，大怒，遣使按问。张氏自缢身亡，左右亲吏都被处罚，其父母坟墓亦被毁去。杨迪又下诏停止杨元僖的追赠仪式，降低其葬礼的规格。杨元僖本得杨迪喜爱，又与宰相交好，朝中还有不少大臣建议立他为太子，本是春风得意之时，却死于非命，而死后又被杨迪所厌，实是可叹。
杨元佐被废，杨元僖暴死，储位空缺，冯拯等人上疏请早立太子。这是个敏感问题，杨迪正为此心烦，便将冯拯等人贬到岭南。自此以后没有人敢议论继承问题。李时是刘皇后侍女，被杨迪看重临幸，诞下皇子杨振，但杨振还未来得及睁开眼睛记住自己亲生母亲的容颜，便在父皇杨迪的默许下，被刘皇后据为己子，由刘皇后和杨淑妃一起抚养。生母李时慑于刘后的权势，只能眼睁睁看着自己的孩子被别人夺去，却不敢流露出任何不满情绪，否则不仅会危害自身，也会给亲生儿子带来灾难。杨迪颇为喜欢这个儿子，后来立其为太子。
杨迪继位以来，有不少地方节度使对其继位合法性和谋害弟侄的行为颇有微词，虽未谋反，杨迪心里总不大踏实。有一次，他单独找丞相魏普谈话，问他道：
“先帝一朝，平叛战事不断，没完没了地打仗，不知道死了多少老百姓。这到底是什么道理？”魏普道：
“道理很简单。国家混乱，毛病就出在藩镇权力太大。如果把兵权集中到朝廷，天下自然太平无事了。”杨迪连连点头，赞赏魏普说得好。魏普又对杨迪道：
“禁军大将石信、王审琦两人，兵权太大，还是把他们调离禁军为好。”杨迪道：“你放心，这两人是我的老朋友，不会反叛我。”魏普道：
“臣并不担心他们叛变。但是据臣看，这两个人没有统帅的才能，管不住下面的将士。有朝一日，下面的人闹起事来，只怕他们也身不由主呀！”杨迪敲敲自己的额角道：
“亏得你提醒一下。”过了几日，杨迪在宫里举行宴会，请石信、王审琦等几位老将喝酒。酒过几巡，杨迪命令在旁侍候的太监退出。他拿起一杯酒，先请大家干了杯，说道：
“朕要不是有你们帮助，也不会有现在这个地位。但是你们哪儿知道，做皇帝也有很大难处，还不如做个节度使自在。不瞒各位说，这一年来，我就没有一夜睡过安稳觉。”石信等人听了十分惊奇，连忙问这是什么缘故。杨迪道：
“这还不明白？皇帝这个位子，谁不眼红呀？”石信等听出话音来了。大家着了慌，跪在地上道：
“陛下为什么说这样的话？现在天下已经安定了，谁还敢对陛下三心二意？”杨迪摇摇头道：
“对你们几位我还信不过？只怕你们的部下将士当中，有人贪图富贵，把黄袍披在你们身上。你们想不干，能行吗？”石信等听到这里，感到大祸临头，连连磕头，含着眼泪道：
“臣等都是粗人，没想到这一点，请陛下指引一条出路。”杨迪道：
“朕替你们着想，你们不如把兵权交出来，到地方上去做个闲官，买点田产房屋，给子孙留点家业，快快活活度个晚年。朕和你们结为亲家，彼此毫无猜疑，不是更好吗？”石信等齐声道：
“陛下给臣等想得太周到啦！”酒席一散，大家各自回家。第二天上朝，每人都递上一份奏章，说自己年老多病，请求辞职。杨迪马上照准，收回他们的兵权，赏给他们一大笔财物，打发他们到各地去做禁军职务。
杨迪将禁军一分为三，分别由殿前都指挥司、侍卫马军都指挥司和侍卫步军都指挥司，即所谓三衙统领。在解除石信等宿将的兵权后，杨迪另选一些资历浅，个人威望不高，容易控制的人担任禁军将领。禁军领兵权折而为三，以名位较低的将领掌握三衙，这就意味着皇权对军队控制的加强，以后杨迪还兑现了与禁军高级将领联姻的诺言。
