武德九年（626）六月初，太白星连续在秦地出现。在古人看来，日月星辰的变化，都预示着人间的喜庆与灾变。因此，李渊的大臣傅奕向李渊秘密报告说：金星出现在秦地上空，这是秦王当有天下的征兆。李渊把奏状交给李世民，要他做出解释。
李世民于是反告李建成和李元吉与李渊的妃妾关系暧昧、淫乱后宫的罪行。并且诉说道：“我对哥哥和弟弟丝毫没有对不起的地方，可他们却千方百计要杀掉儿臣，似乎是想替王世充、窦建德报仇。儿臣今天因冤枉而死，再也见不到父亲了，灵魂到了地下，实在耻于见王世充、窦建德等人。”
李渊默然。他想起爱子为他打江山的功勋，哪忍心杀掉他呢？他对李世民说：“明天我将亲自审问，你也早点来。”
六月初三夜，李世民和他的亲信们果断分兵行动，李世民亲自率领长孙无忌、房玄龄、杜如晦、程知节、秦叔宝、段志玄等人，埋伏在玄武门，等待李建成、李元吉。尉迟敬德率秦王府中其余的精锐准备随时增援李世民，李世民的妻舅高士廉率众到芳林门准备接应李世民。
李渊的宠妃张婕妤私下探听到李世民反告李建成、李元吉的事，派人连夜通告李建成。李建成急召李元吉商量对策。李元吉说：“应该先召集东宫和齐王府的精兵，然后推说有病，不去皇宫，看看形势再作道理。”
李建成不同意：“我是太子，哪有不去皇宫的道理？我这边军队已全副武装，李世民根本不是我的对手，明早我们照常入朝，我和你一起见皇上。”
六月初四一早，天刚有些放亮，一阵纷乱的马蹄声一路响了过来。太子和齐王兵马驰入了玄武门。缀满铜钉的大门缓缓地打开了，等着太子和齐王大驾光临。李渊召集了裴寂、萧瑀等大臣，准备审问三个儿子。李建成和李元吉进了玄武门，走到半路发现气氛不对，玄武门居然埋伏有秦王府的士兵，这可是不祥的信号。于是，他们立即调转马头往回跑。
李世民从埋伏地点一跃而起，边喊边阻拦他们：“太子、齐王，父皇命我们一同参见，你们如何走了？”
二人不理，越跑越快。李建成想往城外冲，但城门已经关上了。他转身往湖边跑，又被尉迟敬德、程知节堵住。他意识到自己慌乱之中犯了个极大的错误，本应该让元吉抵挡住尉迟敬德他们，自己先冲到湖边去见父亲。他相信，无论如何父亲是不会见死不救的。但现在已经迟了，外面的队伍进不来，自己又出不去，急得他的额头上沁出了一片汗珠。
李元吉边跑边拿出弓箭来回头射李世民，但仓皇之间，弓弦竟然拉不开。李世民引弓搭箭，瞄准李元吉。李建成见了大叫一声：“元吉快闪开！”说时迟，那时快，一支带着凄厉风声的利箭穿空而过。李建成万万没有想到这箭是冲他而来的，还没来得及躲闪，后背已经中箭，应声栽下马来，当即毙命。
李元吉见李建成被李世民射死，正想反击，见秦王身边的将军纷纷把弓举起，等他想躲开时已经晚了一步，眨眼间身上连中数箭，终于控制不住自己，松开手中的马缰，扑倒在地。尉迟敬德的援兵随即上来向李元吉乱箭齐发，不料李元吉从地上翻身而起，拔腿跑进一处树林。李世民紧追不舍，意外地被树枝绊住，从马上跌下，一时竟爬不起来。李元吉追上来，夺过李世民的弓箭，想把李世民勒死，尉迟敬德大喝一声，跃马而来。李元吉急忙丢下世民，惊慌失措地向皇宫方向跑去，被尉迟敬德追上射死。
这时太子府将军冯立，听说李建成已死，便和副将军薛万彻、谢叔方率领精兵两千多名向玄武门杀来。李世民的亲信张公瑾神力惊人，他一人在里面使劲顶着玄武门，冯立等人无法攻破城门。玄武门的守将敬君弘、吕世衡等也帮张公瑾迎战太子的精兵，但都战死。薛万彻见冲不进去，叫嚷着要攻打秦王府，以“围魏救赵”。李世民的将士听到，都很恐惧。尉迟敬德急忙提着李建成、李元吉的首级给薛万彻等人看，太子府、齐王府的精兵一看大势已去，丢下武器各自逃散，薛万彻和冯立也逃入终南山中。
且说李渊此时正在湖上泛舟，心中想着昨日发生的事情，想着对策，对外间发生的事毫无知晓。李世民派尉迟敬德带领甲兵，直闯内宫李渊的住处，把原来的卫队都换了下去。尉迟敬德带兵入内警卫，他身穿盔甲，手持武器，径直来到李渊身边。李渊大吃一惊，问：“外面作乱的是谁？你来这里干吗？”尉迟敬德说：“太子、齐王作乱，秦王已经举兵杀了他们，但怕惊动陛下，特派臣来警卫。”
李渊听后手足无措，对裴寂等人无奈地说：“想不到今天终于发生了这样的事，该怎么办？”
萧瑀、陈叔达说：“当初起兵晋阳，太子与齐王本没有参与策划，又无大功于天下，却嫉妒秦王功高望重，两人勾结在一起，搞阴谋诡计，妄图杀害秦王。如今秦王已将两人处决。秦王功盖宇宙，人心所向。陛下若立秦王为太子，把国家大权交给他，就一切平安了。”
李渊说：“好吧！这是我多年的心愿。”于是下诏让东宫、齐王兵马与秦王府兵马停止交战，一切都听从李世民指挥。尉迟敬德拿着李渊的手令火速赶到玄武门，宣读了李渊的命令，外面才安定下来。李渊又让大臣裴寂到东宫，下令东宫将士全部解散。
李渊召见李世民，安抚他说：“当年曾参的母亲在家里织布，有人来告诉她：你儿子杀了人。她说，我儿子不会杀人。过了一会，又有一个人来说，她仍然照样织布。但当第三个人来说的时候，她就害怕起来，丢下梭子，翻墙逃走了。其实她的儿子确实没有杀人，那只不过是一个和她儿子同姓同名的人杀人罢了。但人说得多了，她也就相信了。最近以来，我也像曾参的母亲一样，被人迷惑了。我差点听信谣传错怪了你。”父子于是握手言和。
李渊流着泪对群臣说：“从今以后，国家事情，无论大小，全听秦王处理决定。”又对长孙无忌、房玄龄、杜如晦、尉迟敬德等人说：“你们有拯救国家的大功，我要重赏你们。”于是，就叫人取来大量珍宝财物，赏赐给他们。
李世民夺位成功后，想将过去效力于太子的有才能的人都网罗过来为自己做事。于是，他发布命令说：“谋乱之罪，只在李建成、李元吉，其余的人概不追究。”冯立听了这个消息后，想想自己也没有什么退路了，就从终南山中出来自首。但是，薛万彻仍藏匿不出。李世民爱才心切，就派房玄龄去向他说明情况，他才出来。
李世民说：“你们都是忠于自己职守的人，我不会为过去的事情斤斤计较，你们今后尽力为我做事，辅佐我造福苍生就行了。”他将以前太子手下的将士全都赦免，还任命薛万彻为右领军将军。
李建成的谋士魏徵，曾多次劝李建成早日除去李世民。李世民夺得大权后，竟不计前嫌，以礼相待，任命魏徵为谏议大夫（门下省官员）。当时，李建成、李元吉的手下逃亡民间，虽一再下令赦免，但是这些人还是惊魂不定，害怕被李世民诛杀，在民间四散逃窜。有些人知道他们的行踪，便争相告发，邀功请赏。李世民再次下令重申：玄武门事变以前同李建成、李元吉有联系的人，任何人不得检举揭发，违者反受其罪。
为了稳定民心，李世民同时还派魏徵到郑州巡查，特准他对一些事情自己做主处理。魏徵走到路上，遇见州、县的地方官押送前太子旧将李志安、齐王府旧将李思行两人去长安，魏徵下令立即释放。有人见了，就劝说魏徵：“既然地方官要把这些乱党押往长安，到长安以后，秦王李世民自然会秉公处理。你现在擅自做主，不仅不给李世民面子，而且也会招来这些地方官的嫉恨，因为他们在李世民面前邀功求赏的机会没有了，这恐怕不太好吧？”
魏徵理直气壮地说：“我离京之日，秦王已下令赦免前东宫和齐王府官员，如今继续押送他们两人，还有谁会相信秦王要赦免他们的话呢？即使再派出更多的人员宣传，秦王的信用何在？又如何使万民信服呢？我不能不为国家考虑。况且，秦王既然这样信任我，我能不严格标准要求自己报答秦王吗？”魏徵一再坚持，最后终于把两人放了。
李世民闻知，十分高兴。于是，原东宫和齐王府的官员奔走相告，不少原来犹犹豫豫、隐匿在别处的饱学之士，都主动到秦王府中拜见，恳请为秦王服务。原本浮躁不安的人心逐渐平静下来，社会也逐渐安定下来。
