岁月流逝，斗转星移，元凤元年（前80）春，冲龄即位的昭帝已经成长为一位翩翩少年。为了答谢长姊鄂邑盖长公主居宫中辛勤供养的劳苦之恩，昭帝特意下诏，将位于京畿的蓝田之地赐予长公主，增益其汤沐邑。不久，泗水戴王刘贺死后无嗣，后官虽有遗腹子刘暖，国相、内史却隐匿不奏，以致泗水国除，昭帝“闻而怜之”，立刘暖为泗水王，国相与内史皆下狱治罪。三月，郡国所选有行义者涿郡韩福等五人到京谒见，昭帝赐每人帛五十匹，遣归故里，并下诏曰：“朕闵劳以官职之事，其务修孝弟（悌）以教乡里。令郡县常以正月羊酒。有不幸者赐衣被一袭，祠以中牢。”中牢即少牢，以羊豕二牲祭祠。当年汉高祖曾命将士卒从军死者敛入小棺，载归其县，再由其县“给衣衾棺葬具”重葬，“祠以少牢，长吏视葬”。如今昭帝又如此礼遇民间的“有行义者”，自然是效法先祖之所为。但这次不是为了奖掖军功，而是旨在申明朝廷“以孝弟教化乡里”的决心。六月，昭帝再次下诏“赦天下”。如果不是其间远僻在西南的武都氐人起事，朝廷派遣执金吾马适建等人率兵前往弹压之外，大汉帝国的政事大体上一帆风顺，皇恩浩荡，沐及宫中、宗室与民间，难怪在八月间，濒临黄海的东海郡海西乡，吉祥的“凤凰”在三年之中频频光临，以致昭帝圣心大悦，改元“元凤”以志庆贺。然而，此时又有谁能预料到，一场比始元元年燕王刘旦谋篡危险更大，也更为扑朔迷离的政变正悄悄地降临在昭帝与霍光的头上。不过这次政变的主角却不是燕王刘旦，而是与霍光同受武帝遗诏辅政的左将军上官桀父子、负有供养昭帝之责的盖长公主，以及在盐铁会议之上受挫的御史大夫桑弘羊。
霍光与上官桀由同为辅政大臣而变政争的对头，经历了一个发展变化的过程。霍光与上官桀为儿女亲家，上官桀之子上官安娶霍光之女为妻，两人又同受武帝遗诏为辅政大臣，《汉书·外戚传上》称两人“结婚相亲”，表明最初两人关系还是较为亲密的，所以每当霍光依制出宫归家休沐之时，则由上官桀入宫代决政事。由于另一位辅政大臣金日磾早死，丞相车千秋则是得官不久，在朝中根基甚浅，所以在昭帝时期，朝中的诸大臣之中，能与霍光相匹敌抗衡的仅有上官桀一人。况且上官桀早已担任九卿之一的太仆之职，官秩一直在奉车都尉霍光之上，只是由于武帝临终的嘱托，霍光才一跃成为大司马大将军，官秩反居左将军上官桀之右，上官桀心中难免有怏怏不平之感。权力与地位的变化，自然会在两人的关系之中投下了一道阴影，为日后两人的权力之争埋下了伏笔。
至于盖长主公主与霍光结怨则另有原因。盖长公主原是盖顷侯王充之妻，王充于武帝元光三年（前132）嗣父王信爵为侯，卒年不详，但从其子王受嗣爵后于“元鼎五年（前111）坐酎金免爵”一事来看，王充则应死于元鼎五年之前，可见盖长公主在进入宫中供养昭帝之时已经孀居多年。孀居已久的盖长公主难免“内行不修”，私下里宠幸其子的宾客河间国的丁外人。如果此事发生在一般的仅是食封邑而自养的公主身上，这在两性关系相当宽松开放的西汉社会并没有什么特别之处，不过是平添了一段皇家风流韵事而已，可是盖长公主毕竟是“仪服同藩王”的长公主，又以长姊的身份居禁中供养昭帝，具有特殊的政治地位，俨然是一位不具有太后名分而有其实的“太后”，权柄在握的大将军霍光也不能不曲意与之周旋。因此，昭帝与霍光虽然闻知此事，但是为了“不绝主欢”，还特意下诏令丁外人侍奉盖长公主。
元始三年，昭帝年满十一岁，盖长公主开始为小皇帝的婚事操心，准备立周阳氏女为皇后。
册立皇后，自然是天下与朝廷的大事，汉代又有皇后之父封侯的惯例，必然会引起权臣贵戚们的瞩目，有待字之女而跃跃欲试者不在少数。此时，上官安之女，即霍光之外孙女虽然年仅六岁，上官安却不想落于人后，最初试图通过霍光将女儿纳入宫中。不料霍光以为其女尚幼，不肯应允，上官安只得另寻门路，请托平素与之相好的丁外人为之说情。上官安对丁外人说：“闻长主内女，安子容貌端正，诚因长主时得入宫为后，以臣父子在朝有椒房之重，成之在于足下。汉家故事常以列侯尚公主，足下何忧不封侯乎？”这番话深深地打动了丁外人。这位来自河间国，很有些燕赵男儿的“慷慨”之气的丁外人，不愿意像武帝时董偃那样只是图慕钱财，只是以面目“姣好”，充当五十余岁寡居的馆陶公主的“面首”而满足，倒很有些政治仕途野心，上官安描绘的“尚主封侯”的美妙前景更是令他心醉神迷，于是“言于长主”。“枕边风”果然一吹既灵，盖长公主立即放弃纳周阳氏女入宫的初衷，以昭帝的名义，“诏召安女为倢伃，上官安受封为骑都尉。次年三月，上官倢伃被册立为皇后。上官安则以皇后之父的身份封为乐桑侯，迁升骠骑将军（一说为车骑将军）。”
“投之以李，报之以桃”，上官安封侯拜将如愿以偿之后，自然要为丁外人封侯一事而奔波。可是这位缘裙带而骤然大富大贵的外戚，却没有继承其父侍奉武帝时那种“谨慎效忠”的秉性，却“日以骄淫”，“受赐殿中，出对宾客言：‘与我婿饮，大乐！’见其服饰，使人归，欲自烧物。醉则裸行内，与后母及父良人、侍御皆乱。子病死，仰而骂天。”种种不顾君臣之仪，轻蔑昊天，荒淫无度的行径，博得了一个“其顽悖如此”的评价。不难想见，这样的一位纨绔将军，在为丁外人求封侯时也不会有多少章法，只是一味地软磨死缠，“数守大将军光，为丁外人求侯”，其结果也就可想而知。
上官安为丁外人求侯不得，于是其父上官桀亲自出面为丁外人求赐光禄大夫一职，并请昭帝召见以示恩宠，也被霍光一口回绝。自上官安之女被册立为皇后，上官父子并为将军，“有椒房中宫之重”，深感盖长公主的“盛德”，一心想为丁外人求赐官爵以为报答，不料均遭霍光拒绝，既恨仅为皇后外祖父的霍光专制朝政，又愧对盖长公主与丁外人。恰逢此时，上官桀妻父所宠信的太医监充国因“阑入殿中，下狱当死”，又是盖长公主献马二十匹为充国赎罪，方免一死，因此上官父子更是“深怨光而重德盖主”，“繇是与霍光争权”。
其实，霍光与上官桀两位辅政重臣的关系，在处理胡建一案时因意见相左早已貌合神离，而事情的缘起又恰恰与这位丁外人密切相关。丁外人为人“骄恣”，因怨恨故京兆尹樊福，竟然指使宾客“射杀之”，因刺客藏匿于盖长公主的府舍，“吏不敢捕”。时任渭城令的胡建秉性刚烈，于是“将吏卒围捕”。公主闻讯大怒，与丁外人、上官安率私奴宾客前往，一顿乱箭射散围捕的吏卒，随后又使人上书诬告胡建侵辱长公主，指使吏卒射公主府舍门，知渭城游徼贼伤公主奴而不追治等“罪责”，一心要置胡建于死地。大将军霍光既不愿违心地处置无罪的胡建，又不愿开罪盖长公主，于是“寝其奏”。可是就在霍光因病离宫休沐之时，上官桀入宫“代听事”，立即下令逮捕胡建，迫使胡建自杀。胡建之死犹然在目，上官父子又公然为丁外人求赐官爵，霍光再也不愿与上官父子、盖长公主等人委蛇周旋，因此断然拒绝。丁外人封赐官爵之事陷入僵局之后，实际上是宣告了两人因“结婚相亲”，共同辅政的“蜜月”时代的结束，政治权力的争夺从此由隐蔽转向公开。
霍氏与上官氏两大权臣集团的对峙，立刻在朝臣与宗室之中引起震撼：盖长公主与丁外人对霍光的怨恨之情自不待言；燕王刘旦以昭帝之兄而不得立，也“常怀怨望”；御史大夫桑弘羊因“建造酒榷盐铁，为国兴利，欲为子弟得官，亦怨恨光”；身陷匈奴十九年，矢志不降的苏武归朝后仅为典属国，赐关内侯，其子武元也怨恨霍光赏不酬功，也转投上官氏集团，与上官安结谋倒霍。由于得到部分朝臣与宗室的支持，上官氏父子亟于取代霍光，独揽朝纲的胆气益壮。他们暗中疏记下霍光的“过失予燕王，今上书告之，又为丁外人求侯。”一直在觊觎朝廷而不逞的燕王自然不肯放弃这一良机，于是上书宣称：“子路丧姊，期而不除，孔子非之。子路曰：‘由不幸寡兄弟，不忍除之。’故曰：‘观过知仁。’今臣与陛下独有长公主为姊，陛下幸使丁外人侍之，外人宜蒙爵号。”燕王引子路之事为丁外人求侯，自然要比上官安“数守大将军光”高明得多，占住一个“厚于骨肉，虽违礼制，足显仁爱”的先机，因此昭帝接到燕王的上书也犹豫不决，亲自同霍光商议，但依然被霍光拒绝。
霍光在丁外人封侯问题上如此固执己见，甚至有些扫及昭帝的脸面，其中自然有限于国家制度，“执正，皆不听”的一面。所谓“汉家故事常以列侯尚公主”，是指与公主结婚者的政治身份应是朝廷明定的列侯，证之《汉书·外戚传》与《后汉书·皇后纪》，除史籍缺载者外，众多公主的婚姻状况莫不如此。而丁外人不过是一介“布衣之士”，从政治身份而言当然不是尊贵的长公主的良配。当年武帝之姑馆陶公主的私幸董偃贵宠一时，连武帝都呼之为“主人翁”，屡屡召见赏赐，京城达官贵戚无不与之屈意相交，但从无人敢出面为之求赐官爵，其中道理即在于此。可是，昭帝既然已经下诏令丁外人侍奉公主，不论出于何种考虑，就不是什么“私侍”，而是奉诏行事的“公侍”，从而也符合以尚公主的“汉家故事”。在这种局势下霍光还是坚决不允，则不免有违诏之嫌。清人何焯评议说：“诏使（丁外人）侍主，故燕王旦得为请爵号，此霍光不学失之始也。”正是针对着这一情况而言。
但是从问题的另一方面考察，霍光所以能在武帝临终时被指派为辅弼昭帝的首要大臣，本来就不是以什么学问见长，而是其谨慎持重的性格使然。实际上，霍光执意不肯封赐丁外人官爵，并不像何焯所说的那样全然“不学”，而是出自于政治权力上的考虑。上官父子因上官皇后的缘故权力骤长，又得到了盖长公主、燕王及部分大臣的支持，急于取而代之的意图毕现，为丁外人求赐官爵不过是其中的一个步骤而已，在风波险恶的宦海中游浮三十余年的霍光深知其中之底蕴，自然不肯坐以待毙，所以在从表面看并不关涉朝政大局的丁外人封赐官爵的问题上不肯后退一步，正是要以此表示出决不允许上官父子与之争权的姿态。
上官父子、盖长公主与燕王刘旦等众多的权贵为丁外人求赐官爵，竟然受挫于霍光一人，无不充满了恚愤怨望之情，急不可待地要除去霍光，于是盖长公主、上官父子及桑弘羊皆与燕王刘旦通谋，令人冒称燕王上书曰：“光出都肄郎羽林，道上称跸，太官先置。又引苏武前使匈奴，拘留二十年不降，还乃为典属国，而大将军长史敞亡功为搜粟都尉。又擅调益莫府校尉。光专权自恣，疑有非常。臣旦愿归符玺，入宿卫，察奸臣变。”准备趁霍光出宫休沐时上奏，由代替霍光入宫值事的上官桀从宫中下书有司查问，再由桑弘羊等大臣“共执退光”。
这一安排在时间步骤上都十分巧妙，也符合国家制度。霍光出宫休沐，不仅便于上官桀等人突然发难，也使霍光丧失了事先得知消息，亲见昭帝表白的机会；桑弘羊所领的御史大夫之职，是汉代最高的监察与司法长官，有奉诏收捕审讯大臣的权力；而“燕王”的上书，既有霍光僭越礼制、用人不公、“专权自恣”的具体事例，又有“擅调莫府校尉”，“疑有非常”的严重警告。真可谓“罪证”确凿，只待昭帝一句“奏可”，霍光只能束手就缚。至于被上官安呼为“我婿”的小皇帝——昭帝是否能顺从地听从他们的安排，当时上官桀等人似乎并没有放在心中，孰料这一致命的“疏忽”，竟然成为此次与霍光争权全盘皆输的关键。“燕王”之书上奏后，“帝不肯下”，打乱上官桀等人的精心部署。
次日清晨，霍光休沐已毕，循例又要入宫值事，当得知燕王刘旦上书告其有罪，徘徊于宫中画室而不敢入殿朝见。此时，昭帝也正要召见霍光，急切询问：“大将军安在？”上官桀趁机进言：“以燕王告其罪，故不敢入。”于是昭帝下诏令霍光进见。当霍光忐忑不安入殿朝见，免冠顿首谢罪时，昭帝安抚道：“将军冠。朕知是书诈也，将军亡罪。”霍光问曰：“陛下何以知之？”昭帝说道：“将军之广明都郎，近耳，调校尉以来，未能十日，燕王何以知之？且将军为非，不须校尉。”“广明”是亭名，位于长安城东东都门（即宣平门）外。霍光至近在长安咫尺的广明亭都视羽林郎操练，征调大将军幕府校尉，至今不会超过十日，远在千里之外的燕王根本不可能如此迅速地得到消息，而权柄在握的大将军若真有不臣之心，也不需征调校尉。而“燕王”再次自请入京“宿卫”，其不轨之心更是昭然若揭，昭帝如何不得心惊？难能可贵的是，此时昭帝年仅十四岁，竟然如此聪明善断，略略数语就道出了“燕王”上书的破绽与图谋，令左右侍从的群臣无不惊奇赞叹。而此时诈冒燕王上书者唯恐事情暴露，早已匆匆逃出长安城，就更加证实了昭帝的判断准确。而官吏“捕之甚急”，上官桀等人此时则如坐针毡，以“此小事不足遂”为由，企图阻挠继续追查，被昭帝断然拒绝。经过这场冲突之后，昭帝对上官桀等人已经产生浓重的疑心，以后上官桀的党羽再有诋毁霍光者，昭帝辄愤怒地申斥道：“大将军国家忠臣，先帝所属，敢有谮毁者，坐之！”自此之后，上官桀及其党羽再也不敢在昭帝面前攻诋霍光。
假手昭帝除去政争对手霍光的企图失败后，上官桀等人不仅对霍光愈加痛恨，也对“亲信”霍光的昭帝充满了怨望之情，同时也深恐因谮毁“国家忠臣”大将军霍光而获罪，于是废除昭帝，另立燕王刘旦为帝的念头也由此而生。上官桀与盖长公主密议，准备由公主出面宴请霍光，“伏兵格杀之，因废帝，迎立燕王为天子。”而上官安还另有一番打算，准备在谋杀霍光之后，再诱征燕王刘旦至长安杀之，废昭帝而立上官桀，变刘氏天下为上官氏天下。如此一来，上官皇后将无从安置，“当如皇后何？”面对心腹党羽的这样的疑惑，身为皇后之父的上官安竟然答道：“逐麋之狗，当顾菟（通兔）邪！且用皇后为尊，一旦人主意有所移，虽欲为家人亦不可得，此百世之一时也。”
自从上官桀与霍光政争之初，燕王刘旦就一直密切注视着朝廷的动态，遣派心腹臣子寿西长、孙纵之等十余辈奔走于长安与燕国之间，“多赍金宝走马，赂遗盖主”，又与上官桀、桑弘羊等人私下交通，“置驿书往来相报”，快速传递消息。当得知上官桀与盖长主长杀霍光、废昭帝、立其为帝的密谋后，燕王更是大喜过望，竟然将高祖“非刘氏不得王”的盟誓置于脑后，允诺事成后“立桀为王”，并“外连郡国豪杰以千数”，准备届时举事。可是燕国相平（姓佚）却不像刘旦那样乐观，当刘旦兴冲冲将消息告诉他的时候，不无忧虑地说：
大王前与刘泽结谋，事未成而发觉者，以刘泽素夸，好侵陵也。平闻左将军素轻易，车骑将军少而骄，臣恐其如刘泽时不能成，又恐既成，反大王也。
平的告诫是有道理的：虽然不能将刘旦初次夺位的失败完全归咎于刘泽“素夸，好侵陵”的性格，但不可否认这是尚未举事就被隽不疑察觉的一个重要原因；同理，性情“素轻易”的左将军上官桀是否能够周密地运作这样骇人听闻的“大事”，确实值得刘旦深思的问题；而“少而骄”的车骑将军上官安，确实也有在事成之后诱杀燕王的计划，可是这时刘旦早已热昏头脑，自恃武帝长子的特殊身份，颇为自信地说：“前日一男子谐阙，自谓故太子，长安中民趣乡之，正讙不可止，大将军恐，出兵陈之，以自备耳。我帝长子，天下所信，何忧见反？”不久，刘旦又告之群臣：“盖主报言，独患大将军与右将军王莽。今右将军物故（指死），丞相（车千秋）病，幸事必成，征不久。”兴冲冲命令准备群臣准备行装，热切地期盼着那将至的“鸿鹄”。
元凤元年九月，就在上官桀等人与盖长公主紧张密谋，准备诛杀霍光，燕王刘旦整顿行装，翘首企盼朝廷征令到来的时候，不料这次经过精心筹划的行动，不幸又被燕国相平所言中，再次“事未成而发觉”。不过这次不是由“素轻易”与“少而骄”的上官父子走漏了消息，而是由侍从在盖长公主身边之人泄露出去。曾任稻田使者的燕仓，因为其子为盖长公主的舍人，所以首先得知这一图谋，立即报告给其主管之官大司农杨敞。“素谨畏事”的杨敞乍闻之下大惊，不敢亲自禀报，“乃移病卧，以告谏大夫延年”。杜延年随即上奏昭帝与霍光，于是“诏使丞相部中二千石逐捕”，上官父子、桑弘羊、丁外人及燕王亲信寿西长、孙纵之等人皆被诛杀，宗族尽灭，盖长公主被迫自杀。年少的上官皇后由于没有参与上祖父、父亲的图谋，又为霍光的外孙女，所以没有被废黜，但父女亲情却无法斩断，可是又迫于外祖父霍光的压力，只能偷偷地指使“私奴婢守桀、安冢”，稍尽父女之情而已。
等到京城的局势大体稳定之后，昭帝与霍光开始准备处置那位“老冤家”——燕王刘旦了。自从燕王介入上官氏与霍光政争，再次企图夺位之后，实际上心中并不平静，“黄袍着身”与“斧钺加头”的可能性同时存在，令燕王不时处于亢奋与焦虑之中。可巧的是，是时上天竟然呈现出种种不祥的“征兆”：天雨大风、树拔木折、豕突鹊斗、鼠舞端门、流星下堕等等，不一而足。在讲求天人感应的汉代社会，这些征兆的出现意味着什么，燕王当然心里清楚，以致惊惧成疾，亟使人祠水祈福。而所谓知星者、燕王的宾客吕广等人预言“当有兵围城，期在九月十月，汉当有大臣戮死者”，更是令燕王心绪不宁、忧恐交加。左将军上官桀等人被诛杀的消息传至燕国后，燕王虽知大势已去，尚不甘心就缚，召相平谋曰：“事败？遂发兵乎？”平劝阻道：“左将军已死，百姓皆知之，不可发也。”事情到了如此绝望的境地，燕王仍是存有“党得削国，幸不死”的幻想，可是昭帝遣使赐予的玺书将最后一点希望击碎：
昔高皇帝王天下，建立子弟以藩屏社稷。先日诸吕阴谋大逆，刘氏不绝若发，赖绛侯等诛讨贼乱，尊立孝文，以安宗庙，非以中外有人，表里面相应故邪？樊、郦、曹、灌，携剑推锋，从高皇帝垦菑除害，耘锄海内，当此之时，头如蓬葆，勤苦至矣，然其赏不过封侯。今宗室子孙曾无暴衣露冠之劳，裂地而王之，分财而赐之，父死子继，兄终弟及。今王骨肉至亲，敌吾一体，乃与他姓异族谋害社稷，亲其所疏，疏其所亲，有逆悖之心，无忠爱之义。如使古人有知，当何面目复奉齐酎见高祖之庙乎！
燕王得书后，“以符玺属医工长，谢相、二千石：‘奉事不谨，死矣。’即以绶自绞。后、夫人随旦自杀者二十余人。”燕王的自杀，对昭帝皇位威胁最大的隐患彻底消除，昭帝心满意足之余，加恩赦燕王太子刘建为庶人，赐谥“剌王”。刘旦封王立国共三十八年，至此国除。
十月，昭帝下诏历数左将军安阳侯上官桀、骠骑将军桑乐侯上官安、御史大夫桑弘羊、盖长公主及燕王刘旦等人“数以邪枉干辅政，大将军不听，而怀怨望，与燕王通谋，置驿往来相约结。燕王遣寿西长、孙纵之等赂遗长公主、丁外人、谒者杜延年、大将军长史公孙遗等，交通私书，共谋令长公主置酒，伏兵杀大将军光，征立燕王为天子，大逆毋道”的罪状后，以“故稻田使者燕仓先发觉，以告大司农敞，敞告谏大夫延年，延年以闻。丞相征事任宫手捕斩桀，丞相少史王寿诱将安入府门，皆已伏诛，吏民得以安”为由，封杜延年为建成平侯、燕仓为宜城侯、任宫为弋阳侯、王寿为商利侯，大司农杨敞因为没有及时上奏，错过了封侯的机会。至此，一场惊心动魄的大政争与大杀戮，以霍光“威震海内”的完胜而画上一个句号。
然而，事情到此并没有结束。尽管在昭帝的信任与支持下，霍光最终挫败了上官父子等人的图谋，但武帝晚年钦定的五位主要辅政大臣之中，竟有两位联手与霍光政争，不啻表明霍光的权势尚未达到可以独运朝纲的地步。为消除隐患，霍光决心利用这次事变再次强化自己的权势，彻底铲除朝中的异己势力，警告朝臣勿要再作仗马之鸣，以确保日后能够无所干扰地专权辅政。正是出于此目的，元凤三年（前78）春，距上官桀等谋反事已经平定两年多之后，霍光竟然借朝臣审治侯史吴藏匿桑迁的事件发难，险些又在朝廷中掀起了一场新的清洗风波。
上官父子、盖长公主、燕王的图谋失败之后，御史大夫桑弘羊之子桑迁仓皇逃命，曾途经其父故吏侯史吴家。其后，桑迁“捕得伏法”，侯史吴则因朝廷有赦令，“自出系狱”。是时，廷尉王平、少府徐仁在审理此案时皆认为“桑迁坐父谋反而侯史吴臧之，非匿反者，乃匿为随者也。即以赦令除吴罪。”虽然不清楚此“赦令”是否与元凤元年十月昭帝颁发的“其吏为桀等所诖误者，未发觉在吏者，除其罪”诏令的精神相吻合，但只能较之为宽而不能为严则是无疑的。可见王平、徐平根据朝廷的赦令，及桑迁只是“坐父谋反”而不是“反者”的事实，免除“匿为随者（藏匿随反者）”侯史吴的罪责是有法律依据的。
可是，核此案的侍御史却以为“桑迁通经术，知父谋而不谏争，与反者身无异；侯史吴故三百石吏，首匿迁，不与庶人匿随从者等，吴不得赦”，于是奏请覆治，并劾奏王平、徐仁“纵反者”。所谓“首匿”，《汉书·宣帝纪》颜师古注：“凡首匿者，言为谋首而藏匿罪犯。”汉代犹重首匿之科，凡首匿者多处以重刑；至于所谓“纵反者”，即放纵谋反者，于汉律中亦是重处之科。征和二年巫蛊之祸时，御史大夫暴胜之与丞相司直田仁皆因“失纵”戾太子，或被迫自杀、或被腰斩，处置极为惨烈。显然，侍御史是在“深文傅治（侯史）吴之罪。”侯史吴一旦定为首匿罪，王平、徐仁则难逃“纵反”的罪名。由一名曾任三百石小吏的所谓“首匿”罪的审治，居然企图将两位身居列九卿的高官一并治罪，如果不是秉承大将军霍光的旨意，仅为御史中丞属官的侍御史是不可能如此曲解案情，肆意网织罪名的。
由于少府徐仁是丞相田千秋的女婿，所以侯史吴一案的审理一直在田千秋关注的目光之内。特别是在侍御史劾奏王平、徐仁“纵反”之后，田千秋更是预感到了危险的降临。为了替女婿徐仁摆脱干系，同时也为自身的安危着想，田千秋不得不一反“谨厚自守”的性格与“终不肯有所言”的常态，亲自出面为“数为侯史吴言”，可是又唯恐大将军霍光不听，于是“即召中二千石、傅士会公车门，议问吴法”，如颜师古所云：“于法律之中，（侯史）吴当得何罪。”田千秋此举的目的十分明确，中二千石自然是由丞相总领，自御史大夫以下，包括九卿在内的外朝高官，而秩比六百石的博士参与会议，无非是想借助他们“掌通古今”、通晓五经的优长，为开脱侯史吴及王平、徐仁的罪名寻求经义的依据。所谓“即召”，更显示出田千秋的焦虑与事情的急迫。可是会议的结果却令田千秋大失所望，与会者“知大将军指，皆执吴为不道”，反而加重与坐实了他们的罪名。无奈之下，田千秋只好于次日“封上众议”。霍光得知消息后极为恼怒，“于是以千秋擅召中二千石以下，外内异言”为由，立即将廷尉王平、少府徐仁下狱治罪。
按汉制，丞相有召集百官议政的权力，特别是在汉初相权颇重的形势下，丞相集百官议政，再奏请皇帝批准的事例不胜枚举。到了武帝中后期，由亲近侍臣组成的内朝逐渐有取代外朝之势，故有“自（李）蔡至（石）庆，丞相府客馆丘虚而已；至（公孙）贺、（刘）屈氂时，坏以为马厩车库奴婢室矣”的说法，形象地反映出相权的递衰，不过丞相召集百官议政的权力并没有被褫夺。况且在昭帝即位之初，霍光曾对田千秋作出“今光治内，君侯治外”的承诺，田千秋召中二千石以下朝官议侯史吴事虽然没有违背汉廷的制度，可是这次议政的目的却违背了大将军的意图。于是霍光竟然不顾当年的承诺与汉家故事，给田千秋扣上了一个“擅召”的罪名，而“外内异言”的指责，更显示霍光决心利用此事，彻底由内朝指挥外朝，再不允许所谓“外内异言”现象的发生。因此，当王平、徐仁下狱之后，朝臣们“皆恐丞相坐之”，再度兴起狱事。就在群臣惶惶之时，杜延年谏诤霍光曰：
吏纵罪人，有常法，今更诋吴为不道，恐于法深。又丞相素无所守持，而为好言于下，尽其素行也。至擅召中二千石，甚无状。延年愚，以为丞相久故，及先帝用事，非有大故，不可弃也。间者民颇言狱深，吏为峻诋，今丞相所议，又狱事也，如是以及丞相，恐不合众心。群下讙哗，庶人私议，流言四布，延年窃重将军失此名于天下也！
杜延年虽是武帝时期著名酷吏杜周的三公子，却没有继承乃父“内深次骨”的严酷作风，而是以“行宽厚”见称，又久为“大将军霍光吏”，深知霍光既要揽权于上，又要收名于下的性格，所以充分利用其“明法律”的优长，以“常法”为据，指出侯史吴被“更诋为不道”似为不妥；又巧妙地提及田千秋“擅召”中二千石，并非是有所仗恃，而是秉性喜与下属论议，且又为先帝时用事老臣，不可没有“大故”而“弃也”；又婉转地提及前时治上官桀等人狱过于“峻诋”，民间与群臣已颇有微词，若此次再罪及丞相，“恐不合众心”，伤及大将军的名声：这番“论议持平，合和朝廷”的“奏记”，终于平息了霍光的怒气。元凤三年四月，廷尉王平、少府徐仁及左冯翊贾胜胡“坐纵反者”，徐仁自杀，王平、贾胜胡皆被腰斩，虽然没有牵连丞相田千秋，却以三位九卿的性命为代价，平息这场可能再度爆发的政治风波。
作为武帝托孤重臣之一的丞相田千秋，不仅没有能力保住自己女婿的性命，自身也险遭不测，只是由于杜延年的说请才侥幸躲过这场劫难，这不仅是身为百官之首——丞相田千秋个人的悲哀，而是整个外朝官权力的一次大失落：九卿依律“治狱”，因不合大将军之旨而授首；丞相依制集百官“论狱”，却因违霍光之意几不免于难。霍光权势熏天，朝臣进退维谷，这对朝臣们的刺激实在是太深了，恐怕直到此时，方能深刻地领悟到大将军霍光“威震海内”的真正含义。
元凤四年（前77）春正月，丞相田千秋去世。此前，田千秋因年老体衰，蒙受昭帝优待，特许朝见时“得乘小车入宫殿中，故因号曰‘车丞相’”。“车丞相”之死，标志着武帝晚年钦定的以霍光为首的五位大臣辅体系的最终完结。虽然田千秋在时，相权已经极度衰落，权移尚书已是不争的事实；但田千秋毕竟是武帝最后选定的丞相，位次又一直居霍光之上，致使霍光在决断政事时不能不稍存顾虑，没能趁审治侯史吴一案时罢黜田千秋就是一个明证。可是田千秋一死，朝臣中再无一人能有相似之资历与霍光相匹衡，更不论能出其右者了。自此，霍光不仅以内挥外更加得心应手，而且“权移主上”，竟然亲“置宰相”，除继任田千秋的王訢外，其后的两位丞相均是出自大将军幕府的故吏。
王訢，济南（治今山东章丘西）人，以郡吏积功至被阳令。武帝末年，因绣衣御史暴胜之举荐任右辅都尉，守右扶风。武帝数次北巡，过右扶风时，因“宫馆驰道修治，供张办。武帝嘉之，拜为真”。看来，王訢也属于供职小心谨慎之人。桑弘羊被杀后，任右扶风十余年的王訢代为御史大夫。从现存的史料上看不出王訢与霍光有多少私属关系，但在霍光诛杀上官桀、桑弘羊等人，大肆清洗其余党、扶持同党之时，王訢能出任御史大夫之职，自然是得到霍光充分信任之故。王訢拜为丞相、封宜春侯后，即于一年之后去世，几乎没有可供史家记载的任何事迹可言，《汉书》本传在他未任丞相之前，尚有少许事迹可陈，出任丞相之后，仅以“明年甍，谥曰敬侯”七个字匆匆带过，可见王訢比田千秋还善于“谨厚自守”。
王訢死后，霍光索性以曾为自己属吏的杨敞与蔡义递为丞相。
杨敞最初“给事大将军莫府，为军司马，霍光厚重爱之”。杨敞“素谨畏事”，任大司农时由于不敢亲自告发上官桀等人的反谋，因此没有封侯，但这一小小的“过失”，并没有影响到其仕途升迁与霍光对他的信任。王訢任丞相后，杨敞升任御史大夫；王訢死，杨敞晋升丞相，封安平侯。为相期间，杨敞始终保持“素谨畏事”的故态，唯大将军霍光马首是瞻，“徒唯唯而已”。
至于代杨敞为丞相的蔡义，无论仕途之经历，或为官之政绩及自身之形象，较之王、杨两相更逊一筹。蔡义最初以明经“给事大将军莫府”，数年后迁补一个覆盎城门候的小官。后因昭帝下诏求“能为《韩诗》者”，蔡义上疏自荐：“臣山东草莱之人，行能亡所比，容貌不及众，然而不弃人伦者，窃以闻道于先师，自托于经术也。愿赐清闲之燕，得尽精思于前”。于是得到昭帝的召见，“说《诗》，甚悦之”，从此蔡义官运亨通，擢为光禄大夫给事中，授昭帝《韩诗》，后拜为少府，迁御史大夫，宣帝初年代杨敞为丞相，封阳平侯。蔡义为相时年已八十余岁，“短小无须眉，貌似老妪，行步俯偻，常两吏扶夹乃能行”。以行将就木、老朽不堪之人为相，如何担负“掌丞天子助理万机”的重任，真是只有天晓得，难怪“议者或言光置宰相不选贤，苟用可颛制者也”。面对众口嚣嚣的责难，霍光半为辩解、半为解嘲地对侍中、左右及官属曰：“以为人主师当为宰相，何谓云云？此语不可使天下闻也！”
田千秋之后，继任三位丞相真可谓一相不如相。自武帝中后期创立中外朝之来，外朝与内朝权力的消长，当于此时为甚。号为百官之首的丞相竟成了霍光手中的牵线木偶，除了秉承霍光旨意，在处理重大朝务之时循制领衔上奏之外，再无其他作为可言。其实，刻意造成这种外衰内盛的政治格局的正是大将军霍光本人。霍光的权势从此也达到其一生的巅峰状态，大汉帝国的政事，大至皇帝的废立，小至官吏的安插黜陟等等，事无巨细，无一不在霍光的操纵运作之中。史家所谓霍光自武帝后元时“秉持万机”固然有据，可不时仍有其他重臣在旁掣肘，但自从元凤元年诛戮上官桀等人，其后又亲置故吏为丞相，此时谓霍光“威震海内”的评语，真是一字不爽。
