杨玄感的叛乱，在统治阶级内部引起了强烈的震动，造成了大分裂。许多贵族官僚子弟纷纷参加。如观王杨雄的儿子杨恭道、虞世基的儿子虞柔，来护儿的儿子来渊、裴蕴的儿子裴爽、郑善果的儿子郑俨，周罗喉的儿子周仲，韩擒虎的儿子韩世咢等40多人，都参加到杨玄感的军中。右武侯大将军李子雄也前来投奔，光禄大夫赵元淑、兵部侍郎斛斯政都和杨玄感通谋，隋名将、柱国、蒲山公李宽的儿子李密，更成为杨玄感的谋主。尽管这次起兵在隋炀帝的残酷镇压下，只历时两个月就失败了，但它削弱了统治阶级的力量，促使农民起义军进一步发动起来。起义队伍越来越多，地区越来越广。从614年到616年间，农民起义从黄河下游迅速扩大到黄河南北以及江南、岭南、关中、淮南等地，局部地区起义发展成为全国性的起义。有记载的起义队伍有130多支，参加人数达数百万。
616年（隋大业十二年）以后，隋末农民起义发展到了高潮，在反隋的共同斗争中，分散的起义军逐渐汇合成几支强大的队伍，这主要就是翟让、李密领导的瓦岗军，窦建德领导的河北起义军和杜伏威、辅公祏领导的江淮起义军。
瓦岗军最初起义于瓦岗（今河南渭县南），领导者是翟让。翟让出身于司法小吏，做过隋朝的东郡（治白马，今河南渭县）法曹，因事下狱判为死囚，后来越狱逃亡，与同郡单雄信、徐世责力等在瓦岗寨聚众起义。徐世责力当时17岁，很有勇气谋略。他对翟让建议说：“东郡对我们来说都是乡里，人多互相认识，不应该去侵犯抢掠。荥阳、梁郡，是汴水所经过的地方，拦截河上官府和富商的财物，就足够我们的资用了。”翟让听从了他的建议，带领众人进入二郡的边界，抢掠官府财物，队伍发展至万余人，其中很多是善使长枪马矟的渔猎手，战斗力很强。不久，参加过杨玄感起兵反隋的李密前来投奔瓦岗军。
李密在杨玄感起兵失败后被捕，在押解途中逃走，亡匿民间，后经王伯当介绍，投奔瓦岗军。李密说服附近一些小股的起义军归于瓦岗，又建议翟让先取荥阳，休养生息，待士马肥充，再去争夺天下。翟让听从他的计策，于是攻破金隄关（今河南荥阳东北），并攻打荥阳各县。荥阳历来为兵家必争之地，荥阳的得失事关全局，隋炀帝派张须陀为荥阳通守领兵前来镇压。李密抓住张须陀在此之前屡败翟让而产生轻敌冒进的弱点，自己带兵埋伏在荥阳大海寺北面树林里，让翟让假败，引诱张须陀军进入埋伏圈，勇而无谋的张须陀果然中计，追了十多里，陷于瓦岗军的重重包围之中，张须陀兵败身亡，两万隋军被歼灭，这一仗震动河南。
617年（隋大业十三年二月），瓦岗军乘隋军无备，攻克距东都百余里的兴洛仓，取得大量粮食，于是开仓赈济贫民，得到人民群众的拥护，队伍迅速发展到几十万人。留守东都的隋越王杨侗派刘长恭率步骑2万5千进攻瓦岗军，又被瓦岗军打得大败，隋军死者十分之五六，辎重器甲均为起义军所获。接着瓦岗军攻下兴洛仓，包围了洛阳城。李密发布了声讨隋炀帝的檄文，历数隋炀帝的十大罪状，指出炀帝的罪恶是“罄南山之竹，书罪无穷；决东海之波，流恶难尽”，这篇檄文成为当时广泛动员民众反抗炀帝统治的有力号召书。
东都洛阳在瓦岗军的围困之下，粮食缺乏，形势危急。隋炀帝派江都通守王世充率领江、淮劲旅，驰往东都救援。王世充率领江、淮军北上，和河南、河北的几支隋军在东都会合，在王世充的统一指挥下，隋军对瓦岗军进行反扑。双方在洛水两岸激战，互有胜负。越王杨侗发精兵7万援助王世充。王世充命部队在洛水架浮桥，渡河与瓦岗军决战。先造好桥的先进兵，因此前后不一致。最先登岸的是虎贲郎将王辩部队，已破李密外围营寨，但后续部队却被另一支瓦岗军打败，王世充以为渡河部队战败，下令撤退。李密令敢死队勇猛追杀，王世充军几万人抢渡浮桥，落水而死者一万多人。大将王辩当场阵亡，王世充不敢回东都，带数千人逃到河阳，李密乘胜攻下金墉城（洛阳东边的外城），修整门堞、屋舍以驻扎军队。这时洛阳城里已能听到瓦岗军的战鼓声了。
随着瓦岗军力量的不断发展和壮大，瓦岗军最高领导成员之间却发生了裂痕，李密受到部将的调唆，设计把翟让杀死，造成了军心不稳，削弱了瓦岗军的战斗力。李密也开始妄自尊大，疏远旧将，不爱惜士卒，一时兴盛的瓦岗军开始走下坡路。
河北农民起义军的领袖窦建德，漳南（今山东武城县东北）人，勇敢有谋。611年（隋大业七年），因窦建德帮助孙安祖聚众起义，隋朝官府杀害了窦建德的亲属，窦建德被迫投奔高士达起义军。高士达以窦建德为司兵。第二年，高士达战死，窦建德就成为这支起义军的领袖，队伍很快发展到10多万人。617年（隋大业十三年），窦建德在乐寿（今河北献县）自称长乐王，置百官，建立政权。这年七月，瓦岗军进逼洛阳，隋炀帝调涿郡留守薛世雄率领幽冀精兵3万南下，增援洛阳隋朝守军。途经河间地区，受到窦建德的阻击，隋军被击毙万余人，薛世雄率数十骑狼狈逃回。从此，窦建德领导的农民起义军日益壮大，河北大部分地区都为窦建德的起义军所占领。618年（隋大业十四年），窦建德建国号为“夏”，称夏王，迁都洺州（今河北永年）。窦建德在境内发展生产，劝课农桑，民众的生活得到改善。窦建德本人对所得资财一无所取，又不吃肉，常食只有菜蔬脱粟之饭，他的妻子曹氏不穿纨绮，保持了劳动人民的朴素本色，窦建德在河北很得人心。
江淮农民起义军领袖杜伏威，山东章丘人，家里很穷苦，613年（隋大业九年），杜伏威和临济（今江苏宿迁县东南）人辅公祏，参加了长白山起义军，这时杜伏威才16岁。后来他们从山东向江淮转移，自称将军，势力不断壮大。617年（隋大业十三年），隋炀帝派右御卫将军陈稜率精兵8000前往镇压。陈稜是隋王朝的骁将，曾远征流求，并多次打败过起义军。他到达前线后，坚壁不战，准备以逸待劳，等农民军的锐气消退后再进攻。杜伏威识破陈棱的计谋，派人送去一套妇人的服装，称他为“陈姥”，以激怒陈稜。陈稜果然大怒，率全军出战，杜伏威、辅公祏各带几百骑兵闯入敌阵，把陈稜军打得大败。接着，起义军乘胜攻破高邮（今江苏高邮），占领历阳（今安徽和县），杜伏威自称总管，以辅公祏为长史，分遣诸将攻略属县，又派大军渡江，占领丹阳（今江苏南京），建国称吴。江淮一带，许多起义军都来归附。
全国各地农民起义军的蓬勃发展，对隋军的进攻已取得决定性的胜利。在这形势下，隋朝统治集团进一步分裂，许多地方官僚纷纷叛隋、自己组织武装，割据一方。617年（隋大业十三年二月），鹰扬郎将梁师都杀郡丞，起兵朔方（今陕西横山西北），称梁帝。鹰扬府校尉刘武周杀太守，起兵马邑（今山西朔县），称皇帝，建元天兴。四月，金城（今甘肃兰州）校尉薛举起兵，攻下周围各郡，尽有陇西之地，众至20万，薛举初号西秦霸王，后称秦帝。五月，太原留守、唐公李渊起兵于太原。七月，武威（今甘肃武威）鹰扬府司马李轨起兵，占据河西诸郡，众至10万，李轨初称河西大凉王，后称凉帝。十月，罗川令萧铣，起兵巴陵（今湖南岳阳），称梁王，占有两湖之地。这些官僚和地主起兵，目的是为了抢夺农民起义的胜利果实，但是也削弱了隋朝统治力量，加速隋王朝的崩溃。
隋炀帝在616年（隋大业十二年），就离开洛阳，前往江都。后来，瓦岗军包围洛阳，隋炀帝十分恐惧，不敢还都。至617年年底，隋朝所控制的地区，在北方只有东都洛阳及其他几座孤城，在东南地区只有江都一地，且江都城的东、西、北三面都被起义势力包围。隋炀帝在江都日夜心神不安，他经常戴着头巾，穿着短衣，遍游宫内台馆，不到夜幕降临，决不休止，贪婪地观看美景，唯恐看不够。有时，他自己照着镜子，对萧后说：“好一个头颅，不知谁来砍掉它！”萧后惊问他为什么说出这种话，炀帝强自为笑说：“一个人的贵贱苦乐没有一定，相互更替，有什么值得伤感的呢？”他还准备了毒药带在身边，以备危急时用。他已经感到，末日即将来临。
这时江都受到周围农民起义军的包围和袭击，粮食供应已有困难。由京师跟随隋炀帝来江都的骁果卫士，大多是关中人，他们思归心切，偷偷地逃归的人很多。禁军将领司马德戡、元礼、裴虔通等和贵族宇文化及，便利用士兵的骚动，在618年（隋大业十四年三月），发动兵变，缢杀了隋炀帝。隋朝的腐朽统治宣告结束。隋朝从581年（隋开皇元年）建立，到618年灭亡，前后历时37年。
在隋炀帝被杀之后，农民起义军便失去了斗争目标，三支主要起义军的领导人先后放下了反封建的旗帜。618年，瓦岗军李密接受了在洛阳的隋朝残余势力皇泰帝杨侗的招降，被封为太尉、尚书令、东南道大行台行军元帅、魏国公，讨伐自江都北上要返回关中的宇文化及十多万禁卫军。李密率全部精兵和宇文化及决战，虽然勉强取得胜利，但是瓦岗军损失极其严重。李密本人为流矢所中，几乎被俘，瓦岗军精兵良马死伤很多。接着，已取得洛阳政权最高权力的王世充趁李密疲敝之机，选拔精锐兵2万，铁骑2千，突袭瓦岗军，李密被迫应战，两军在偃师（今河南偃师县）展开决战。当时李密营在北邙山上，由于骄傲轻敌，夜不设防。不料这夜王世充派遣二百多轻骑携带火种，潜伏在北邙山溪谷中。天一亮，王世充率江淮劲兵攻袭北邙山瓦岗军大营，李密来不及列队布阵，仓猝应战。王世充事先找到一个面貌和李密相似的人，把他捆绑藏起来，当作战剧烈的时候，叫人把他牵到阵前，大声叫喊：“李密抓到了！”早先埋伏的骑兵，从高处往下冲，纵火烧营。李密的军队大败，在溃败中，一些将领如邴元真、单雄信等相继倒戈，号称百万之众的瓦岗军便迅速瓦解了。李密走投无路，便带领2万残部西往长安投降唐朝。在长安，李密得不到重用，后叛唐被杀。瓦岗寨起义彻底失败了。
河北起义军领导人窦建德的封建正统思想很浓，宇文化及缢杀隋炀帝，他认为是大逆不道。619年，当宇文化及被李密打败逃到魏县（今河北大名），他为替隋报仇，出兵击杀宇文化及，并遣使向皇泰帝杨侗奉表称臣，受封为夏王。621年（唐武德四年），窦建德在与唐朝秦王李世民军队的作战中战败被俘牺牲。这年秋天，窦建德的部将刘黑闼再次在河北起义，半年之内尽复夏国故地。但至623年（唐武德六年）初，又被唐军镇压下去。
江淮起义军的领导人杜伏威在隋炀帝被杀后，他向隋皇泰帝杨侗奉表称臣，被封为东道大总管、楚王。619年（唐武德二年），他又接受了唐朝的封爵。622年（唐武德五年），杜伏威入朝长安，被留在长安不还。另一领导人辅公祏则以丹阳（今江苏南京）为基地，东征西讨，尽有江东、淮南之地。623年（唐武德六年）八月，辅公祏在丹阳称帝，建国号为宋，624年（唐武德七年）春，唐军攻破丹阳，辅公祏兵败被杀。江淮起义军最终被镇压下去。
轰轰烈烈的隋末农民大起义虽然最后失败了，但它在我国历史上起了巨大而深远的作用。首先，它推翻了腐朽残暴的隋王朝。以隋炀帝为首的统治集团是反动、腐败的政治势力，隋炀帝的暴虐统治使人民失去起码的生存条件，农民起义军用自己的力量终于推翻了隋炀帝的统治，从而为历史的发展扫除障碍。这是隋末农民起义的伟大贡献。这次起义沉重地打击了封建地主阶级，尤其是又一次横扫了腐朽的士族势力，农民起义军消灭了大批的隋朝官僚和士族，以崔、卢、李、郑为首的山东士族，由于正处于农民起义的中心地带，所以遭到的打击格外沉重。地主阶级的田庄经济在农民起义的冲击下，也大大削弱，很多大田庄整个崩溃，这就使农民占有的土地有所增加，缓和了土地兼并。土地占有状况的调整，改善了农民的经济地位，提高了他们的生产积极性。在农民战争中，许多奴隶、部曲、佃客、杂户也获得了解放。他们随着身份、地位的上升，所受的剥削也有所减轻。隋以后，比较进步的契约租佃关系、定额租制的逐渐发展，就是由于隋末农民起义推动的。隋末农民起义，也给后代统治者以深刻的教训。唐初的统治者，就经常以亡隋为戒，采取了很多缓和阶级矛盾、安定社会秩序和发展生产的措施。唐初的繁荣和强大，与隋末农民起义的推动紧密相关。隋末农民起义就是这样，在中国历史上写下了不可磨灭的光辉篇章。
