多年以后，袁允触景伤情，咏联一副：
“家从京畿而来，回首五岳峨眉，此等山川甲天下；帝似尧舜以后，伉怀秦皇汉武，如我王孙旷古今。“这既是对湄江美丽风光的衷心赞美，也是对自己一生坎坷命运的高度概括，更是对无奈现实的宣泄、壮志难酬的遗憾的真实写照。
袁棣驾崩后，长子袁高继位。袁高醉心于道教修行，苦行所谓长生不老之术。他重不上朝，为了保证政事运行，下旨建立内阁体制，即由皇帝指定内阁首辅，首辅上报内阁成员，经皇帝批准后，由内阁总理朝政。一般非重大事宜，内阁自行做主先行，事中或事后向皇上呈报详情。皇帝让言官监督上报内阁执政情况。皇帝可随时撤换内阁。圣旨一下，众臣皆惊，纷纷上书反对，认为这会导致皇权衰落，大臣专权误国。晋王沈约既不上书反对，也不附议。沈约认为，皇帝委政于内阁，是一大进步，符合自己的治国理念，但内阁应由民意代表选出，而非皇帝指定。皇帝随意指定或裁撤内阁，会导致朝政混乱。
袁高对大家的反对不以为然：
“朕虽不上朝，但洞悉朝局，内阁为朕所用，亦为朕所撤，何来专权之说？”袁高任命的首任内阁首辅便是严松，其子严石也入内阁，一时之间严松父子权倾朝野。严松父子贪污受贿，但无人能够制约，弹劾皆不被袁高受理，直接送到首辅严松那里，严松对主张弹劾自己的人毫不留情，凭借首辅权力，或贬或杀，一时之间，无人再敢上书弹劾。
严松专权，大臣徐杰不肯依附严松。于是严松经常在皇帝面前说他的坏话。徐杰的处境一度十分危险，这使他认识到不能以卵击石，于是他改变策略，事事顺着严松，从不与他争执。为了得到他的信任，还把自己的孙女嫁给严松的孙子，表面上十分恭顺。严松的儿子严石十分霸道，多次对他无礼，他也忍气吞声。同时，徐杰向袁高靠拢，专门挑皇帝喜欢的话说，终于讨得袁高的喜欢，不久，袁高加徐杰少保头衔，接着兼任文渊阁大学士，进入内阁，参预机务。后来，徐杰密奏咸宁侯仇鸾罪状，使袁高杀掉仇鸾，得到皇上的信任，加太子太师头衔，地位进一步提高，仅次于严松。后来，袁高居住的永寿宫发生火灾，暂时住到了玉熙殿，但是这里地方太小，于是袁高想营建新宫殿。他问严松，严松请求他回到大内住，袁高很不乐意。然后袁高问徐杰，徐杰猜透了袁高的心思，于是建议用被烧毁宫殿的剩余材料，营建新的宫殿，他的建议得到袁高的赞同。后来由徐杰主持建造成万寿宫，袁高搬了进去。徐杰因此加封少师，兼支尚书俸，而严松渐渐被皇帝冷落。
一年后，邹应龙告发严松父子，皇帝下令逮捕严石，勒令严松退休，徐杰则取代严松为首辅。严松被勒令退休后，徐杰亲自到严松家去安慰。他的行为使严松十分感动，甚至叩头致谢。严石也乞求徐杰替他们在皇上面前说情，徐杰满口答应。徐杰回到家里后，他的儿子徐番迷惑不解地问：
“你受了严家父子那么多年的气，现在总算到了出气的时候了，你怎么这样对待他们？”徐杰佯装生气骂徐番说：
“没有严家就没有我的今天，现在严家有难，我恩将仇报，会被人耻笑的。”严松派人探听到这一情况，信以为真，严石也说：
“徐老对我们没有坏心。”其实，徐杰这样做是因为他看出皇上对严松还存有眷恋之情，而皇上又是个反复无常的人，严松的爪牙还在四处活动，时机还不成熟。后来，袁高果然后悔，想重新召回严松，在徐杰的力劝下，才打消了这个念头。
徐杰继任首辅之后，大力革除严松弊政，十分注重选拔人才，他先后举荐高功、沈约等人进入内阁。他十分爱惜人才，大力营救因上疏指责皇帝过失而被定死罪的户部主事海睿。他还十分勤政，凡是皇上交给的任务，即使一夜不睡，也要准时完成，因此他更得袁高的赏识。同时，他还经常劝说皇帝停止动辄捕杀边镇大臣的做法，缇骑因此省减，诏狱渐少。后来，徐杰因为指挥宋军抵挡齐丹骑兵南下有功，升为建极殿大学士。
徐杰成为内阁首辅以后，还和严松反其道而行之，邀请内阁次辅黎炜一起办公，共同为皇帝票拟谕旨。皇帝知道了，认为不妥，认为只要首辅一人票拟即可。徐杰向皇帝解释，事情出于众人合议比较公正，而公正是所有美德的基础；独断专行就是自私，而自私会导致百弊丛生。皇帝听了表示同意。当时言官竭力抨击勾结严氏父子的大臣，皇帝对此很反感。徐杰委婉曲折地做出解释，缓解了他的怒气，保护了那些言官。
袁高死后，袁历继位。徐杰起草遗诏，将因反对袁高而获罪的大臣全部平反，存者招用，死者优恤。诏书颁布的那天，许多大臣感激涕零。徐杰执政期间，还减轻百姓负担，清理盐税。景王死后，徐杰上奏将景王霸占的陂田数万顷给了百姓，使老百姓欢欣鼓舞，奔走相告。他还废除朝中的许多浪费项目，尤其是皇帝信奉道教的开支。他的做法，得到朝中上下的拥护，人们称他为“名相”。
袁历年幼，不能主政，李太后下旨让徐杰领衔内阁主政，内阁权力进一步增强。徐杰提拔晋王沈约为内阁次辅。不久，徐杰病亡，临终前建议沈约为首辅，并担任皇帝袁历的老师，李太后首肯。沈约继任首辅后，从省议论、振纪纲、重沼令、核名实、固邦本、饬武备等六个方面提出改革政治的方案，其核心就是整饬吏治，富国强兵。他批评空作王霸之辩的人不知王霸之辩、义利之间在心不在迹，而误认为仁义之为王，富强之为霸。沈约明确地把解决国家财用匮乏问题作为自己的治国目标，而要实现这个目标，首先要巩固国防，整顿吏治。
