眼看洛阳城指日可下，正在这个关键时刻，窦建德率领数十万大军，沿河西上，来救困在洛阳城里的王世充。他们前后攻克管州和荥阳，水陆并进，并且还随军带了大量的粮食。在成皋（今河南汜水）与唐军对峙，对唐军后部形成了巨大的威胁。
窦建德是隋末河北农民起义军的首领，颇有计谋，而且英勇善战，先后打败隋将的多次进攻，割据河北一带。宇文化及杀掉隋炀帝自立，窦建德领兵征讨，活捉宇文化及，后又大败唐军，活捉淮安王李神通，名声大振。公元618年，自称夏王，建都乐寿（今河北献县），国号夏。第二年，迁都洛州（今河北永年东南），同李渊、王世充三足鼎立。开始的时候，窦建德和王世充关系并不好，互相之间没有什么来往，有的时候甚至短兵相向、剑拔弩张。但是，李世民的大军兵临洛阳城下，王世充别无他法，只能向窦建德求救。
窦建德一开始对派兵援救王世充并不同意。窦建德的中书侍郎刘彬就建议他说：“现在关西被唐军占领，河南被王世充占领，河北被您占领，形成了三足鼎立之势。而今，唐军入侵河南，而且已经持续了很长一段时间。但是，唐军的数量越来越多，王世充的力量却越来越弱。这样下去，王世充肯定支持不住，迟早会被灭掉。王世充一被灭，我们就不会安定太久了。您现在不如化干戈为玉帛，与王世充团结一心，派兵前去救援。我们两军内外夹击，唐军肯定会被打败。唐军一旦招架不住、引兵撤退后，我们可以静观其变，借机拿下王世充。这样，我们两家军队的力量就会结合在一起，然后再奋力追击撤退的唐军。我们的兵力那么强大，唐军就不会是我们的对手，到时候整个天下就都是我们的了。”于是，窦建德就采纳了他的意见，同意派兵援救王世充。
窦建德先是派人送去一封信，信上说：请李世民将军队撤退到潼关，并将王世充的土地归还给王世充，与他重修旧好，这样就能和平共处。
李世民接到窦建德的信，就召集将佐开会，商讨对策。会上，屈突通、封德彝等人认为：“我军连年征战，早已疲惫不堪。而王世充又坚城据守，一时难以攻克。窦建德率领大军而来，也难以抵挡。与其这样腹背受敌，不如先退一步，待士兵恢复过来再重新进攻。”
而郭孝恪、薛收等人却认为：“王世充智穷计尽、粮食困乏，即将投降。如果我们这时候退兵，坐等他们两军合并，那大量的粮草就会被运进洛阳，王世充的实力就会逐渐恢复。一旦他们的兵力重新强大起来，我们就不知道什么时候能够拿下他们、攻克洛阳城了。我们应当继续围困洛阳，派一部分军队去成皋抵御窦建德，如果我们将窦建德打败了，那么洛阳城也就不攻自破了。”
房玄龄极力支持郭孝恪和薛收的意见，他对李世民说：“击败窦建德，则王世充不战自降，主公千万要把握住机会啊！”
李世民听了，十分赞成。于是，命令齐王李元吉带领部队继续围攻洛阳城，自己亲自率领三千五百名精兵，快马加鞭地赶往虎牢关口，去阻截窦建德。
第二天，李世民顺利进入虎牢，调兵遣将，准备迎战。为了探听窦建德的虚实，李世民率五百精锐骑兵，出虎牢东二十余里，侦察窦建德营地。并且，一路上把骑兵分为几部分，令大将李勣、程知节、秦叔宝各带一部分，埋伏在道路两旁，只剩下尉迟敬德等四骑跟随。
李世民几个人一路奔向窦建德的大营，在距离窦建德营地三里左右的地方，他们被窦建德的士兵发现。窦建德遂派五六千骑兵追击，李世民一边射箭防卫、一边迅速撤退，把窦建德的骑兵引入了早就安排好的包围圈。这时，埋伏在四周的李勣从左边杀出，程知节从右边杀出，秦叔宝从后面断其路，李世民等从前面攻击，杀声震天动地。窦建德部猝不及防，顿时大乱，原先列好的阵形早已凌乱不堪，士兵们争相逃窜。这一战，唐军重创窦建德，斩首三百余级，并俘虏了窦建德的骁将殷秋、石瓒等人。
这一战，战果辉煌，却也可以看出李世民的处境困难。当时他自己顶住压力出兵虎牢关，如若不胜，局面将会相当被动。其时士卒疲惫，几乎无人相信区区数千兵马能够力敌窦建德十万大军。加上年轻好胜，李世民肩上的压力之重可想而知，所以只能使出这不要命的招数，孤身诱敌，期望以传奇般的胜利来鼓舞军心。幸好没出什么意外，要是又被射中坐骑什么的，不但成不了英雄，还要落个千秋笑柄。
当然，他被几千人追赶，还能回马放箭，且箭无虚发，其箭术之精、胆略之高，远非寻常将领能比，靠的也不仅仅是运气。随后，李世民又修书一封给窦建德，其语气是经过精心设计的：“河北、山东，一直就为我所有，却被阁下所夺，还将我皇姑、皇妹虏走。但看在你已经恭恭敬敬地把她们送回来的份上，也就不跟你计较了。王世充曾和阁下联合与我大唐为敌，后来又跟你翻脸争地，可见其反复无常。现在洛阳危在旦夕，又用一些花言巧语来向你求助。可笑阁下竟然真的兴师动众，耗费千金之资、粮草无数，来救这样的卑鄙小人，是不是有点不太明智？我今天本来想亲自到阁下大营说明情况，却不料您竟用几千铁骑欢迎我，有失待客之道。更没想到，贵军竟然一触即溃，真是令人遗憾之至。依我之见，凭阁下这点实力，还是趁早带兵回家，方为上策，不然到时候身死他乡，怕是要追悔莫及了。”
这封信的目的，看似激将，实则疑将。李世民素知窦建德为人宽厚，冷静有余而果断不足。这种一看就是想激怒对方的语气，反而让窦建德狐疑不定，迟迟不敢进兵，为唐军赢得了宝贵的休息时间。
此后，窦建德数次进攻虎牢，均被李世民击退，唐军又趁机偷袭了窦建德的运粮部队，还俘虏了窦建德的大将军张青特。一时间，窦建德的军粮供给紧张，军心动摇，颇有退兵的考虑。
在这种情况下，窦建德的部下凌敬就建议说：“现在继续这样和李世民僵持下去，对我们极为不利。我们不如渡过黄河，攻下怀州、河阳（今河南孟县南），越过太行山，乘虚进入上党（今山西长治）。进而占取汾阳（今山西静乐县西）、晋阳，南下蒲州，控制黄河渡口，尽收黄河以东之地。这样既可以扩大地盘、增加人口，又可以使关中震惊，李世民必然退兵，保护根本，洛阳之围自解。”
消息传到李世民耳朵里，令他大为震骇。唐军主力尽在洛阳，山西空虚，夏军必可势如破竹地占领山西，就可以直接威胁唐朝的根据地关中。到时候他将不得不放弃洛阳，回师救援，若王世充率军追击，和窦建德南北夹攻，关中危矣。幸好王世充的说客苦苦哀求，说‘洛阳危在旦夕，等不到夏王您扫平山西的那一天了’，说得窦建德十分犹豫。不过如果虎牢关再迟迟不下，说不定窦会改变主意。
当时的情况是：看来必须孤注一掷，主动寻求夏军决战了。而任务也不再是用三千五百人守住虎牢关，而是要用三千五百人消灭十万夏军——李世民也真敢想。
怎样才能引诱夏军拔营倾巢出战呢？正在这时，唐军情报人员送来了可靠的军事情报：窦建德计划趁唐军粮草不足、到黄河北岸牧草丰美之地放马，骑兵不能发挥作用的时候进攻虎牢关。这个情报来得太是时候了，李世民听罢大喜，立即定下牧马之计。
武德四年（621）五月初一下午，李世民将战马千匹尽数运到黄河北岸放牧。窦建德闻讯大喜，第二天天还没亮就拔寨起兵，到虎牢关外的牛口布阵，隔着一条汜水便可看见虎牢关。你想十万大军，何等壮观，营寨相接，绵延二十余里。从虎牢关上远远望去，便如黄河暴涨，大江横流，漫山遍野，一直连到天边去了。众将领见夏军声势浩大，都不免有些害怕。唯独李世民说道：“贼兵来自山东，从来没有遇到过强敌，居然逼近我们的关口下寨，看来对我们心存轻视。他们布阵时声音嘈杂而混乱，显然军纪不明。敌人汹汹而来，如果我们按兵不动，时间久了，他们的勇气就会慢慢衰竭。到时，对方的士气消退，我们却士气饱满，那么谁胜谁负就很明显了。我与诸将打赌，不过中午，我们必能击破敌军！”众人半信半疑。
窦建德见唐军不出，轻敌之心更甚，于是派了三百骑兵渡河挑衅。其时战马还未全部运回虎牢关，李世民故意与他拖延时间，只派了两百骑兵手持长槊出战，时进时退，不分胜负。夏军将领王子琬被搞得莫名其妙，正在疑惑，冷不防一人从右面持刀砍来，慌忙举枪一挡。不料对方使的是虚招，刀上没有用劲，长枪隔了个空，上半身整个亮了出来，两马相错，只听得一声：“过来吧！”还没看清是谁，已被人家长臂一伸，当胸抱了过去，再也挣不脱了。只见那敌将擒了自己，并不回阵，转了一圈，却来追自己的青骢马。奔驰之间，右手一捞，已牵住马缰，这才一手一个，回了唐营。
原来李世民在一旁掠阵，认出王子琬骑的是隋炀帝的青骢宝马，十分喜爱，不由得大声赞叹起来。尉迟敬德在一旁听了，就要上前夺马。李世民连忙劝道：“岂可因一战马而丧一勇将。”尉迟敬德哪里听得这样的话，不由分说，夺马而出。
夏军见尉迟敬德顷刻之间，擒将虏马，勇猛难当，正在害怕，突然迎面宇文士及率领三百骑兵冲杀过来，夏军哪里抵抗得住，连渡水回营也来不及，于是向东奔逃，宇文士及穷追不止。
窦建德看见宇文士及三百孤军远离本阵，以为有机可乘，于是马上派出数千骑兵向东追击，却不知中了李世民之计。原来当时已近中午，战马全部运回，且饱餐了一顿鲜美的牧草，一个比一个精神。李世民远远望见夏军没有吃饭，饥渴难耐，大家都散乱地坐在地上休息，还有不少士兵出营，到河边饮马洗澡。暗忖窦建德治国宽厚固然不错，但治军过宽，纪律松弛，实在是大错特错。现在夏军军心已疲，阵形已散，于是派宇文士及诱出他数千骑兵，阵脚更乱。
窦建德骑兵一出，李世民即刻大喝：“贼势已懈，急击勿迟！”唐军虽然只有三千五百人，但像秦叔宝、程咬金这样的猛将就有数十，其余也都是身经百战的骁骑，虽然没有吃饭，但常跟李世民打仗，早就习惯了，也不觉得怎么饿。于是分成八队，一齐渡河。
偏偏此时窦建德正在召集朝臣开会，他压根没想过数量如此微弱的唐军会主动出击，只盘算着怎么进攻，所以竟然将主帅大营设在离汜水不足五百米的地方。听到唐军渡水来攻，连忙命令朝臣后撤，组织骑兵前突。一时人流混杂，朝臣们慌乱后退，挡住了骑兵前进。窦建德一看不行，又命令朝臣先回大营，等骑兵通过以后再行撤退。
进退之间，唐军已至。又是一通好杀。
这三千铁骑踏入夏营，就好像几只野牛闯进菜园子一般，也不管是冬瓜南瓜萝卜白菜，统统踩得稀烂。所谓兵败如山倒，二十余里的大营，第一道防线被突破以后，后面的人也不知道发生了什么事，只见前军潮水一般地逃命，杀声震天，想是败了，也跟着转身开跑。有些跟窦建德征战多年的老兵，经验丰富，还想着列阵坚守。偏偏阵中还有刚刚收降的徐元朗、孟海公的三万多人，无心恋战。特别是孟海公旧部，自当兵以来只打过一仗，就是窦建德平孟海公那次，以为打仗就是先逃跑后投降，一见前边败了，马上夺路狂奔，挡都挡不住，敌人还没看见，先把自家营垒冲个七零八落。这一下真是黄河决堤，一溃千里，夏军兵马自相践踏，死伤不计其数。夏王窦建德见势不妙，想趁乱逃跑，但无论他如何东窜西窜，总有两骑穷追不舍。原来他那身黄金宝甲实在太引人注目，被唐军车骑将军白士让、杨武威二人看见，知道肯定是重要人物，想抓了领赏。想当年曹阿瞒割须弃袍，何等英明果断；汉高祖被项羽追杀，连亲儿子都要推下车去减轻重量；窦建德却连身金甲都舍不得，看来确实是平时勤俭节约惯了的。他跑到汜水和黄河汇合的牛口渚，再也无路可跑，想起以前军中流传的歌谣“豆入牛口，势不得久”，心里顿时绝望。犹豫间，杨武威拍马赶到，抬手就是一槊，刺在马腿上。窦建德一个不稳，跌落下来。眼见白士让跟着举槊刺来，他慌忙喊道：“莫杀我，我是夏王。如若相救，富贵与共。”二人听得心花怒放，连忙绑了回营。
这一仗，李世民以绝对劣势的兵力获得全胜，杀敌万余人，获得俘虏五万余人，擒获敌军主帅，可谓完美。唯一麻烦的就是那五万俘虏，唐军兵力太少，不要说消化，连看管都困难。在古代战争中，降军数目过多、难以消化时，一般都难逃被屠杀的命运。因为如果释放，就等于给敌方保留了一支有威胁的有生力量。秦赵长平之战，秦军以六十万俘获赵军四十万；秦末农民战争，项羽以六万俘获秦军三万，都是全部坑杀。但这一次降卒实在太多，要想一次杀完都不可能，如果分批进行，一个不慎，就会引起暴动。无奈之下，李世民只得将他们就地遣散，这在我国古代战争史上是独一无二的。后来窦建德部将刘黑闼起兵，确实有不少人又重新聚集，继续和唐军作战。但在当时，只能释放。
经过这番苦战，窦建德的十几万雄兵死的死，逃的逃，被俘的被俘，一夜之间土崩瓦解。窦建德被俘后，拒绝给李世民下跪，李世民冷笑道：“我本来是攻打王世充的，关你何事？你却越境而来，现在结局如何呢？”窦建德无言以对，反说两句话打趣：“我如果不自己前来，还要麻烦你跑上很远，才能把我捉来。”
