此时，朝中的左仆射杨素位高权重，令隋炀帝杨广心有疑忌。大业二年（606），杨广想除掉杨素。为了不引起乱子，杨广决定暗中将他除掉。于是他便与太子杨昭设下一条计策。
一天，杨广宴请杨素，由太子作陪。席间，君臣关系融洽，三人谈笑风生。其实，这其中暗藏杀机。杨广早就命人备下一杯毒酒，要毒死杨素。不料，不知情的宫女将酒杯弄错了，将毒酒给太子喝了。当时谁也没发觉。杨广既想掩人耳目，当然不会用烈性毒药让杨素死在皇宫之中。酒席一散，杨广与杨昭二人相视一笑，各自回宫等杨素的死讯。不料，三日后毒性发作的不是杨素，而是太子。太子临死前对后悔不迭的杨广说：“不想我倒替杨素死了，这也许是天意吧。”
不料，这话传入杨素耳中。杨素非常后怕，并因之得了病。但他连药也不肯吃，他对弟弟说：“我现在死了，恰到好处，若再活下去，难说要遭到什么厄运呀！”不久杨素病故，果然死得风光排场，家属和财产得以两全。
杨素死了，但他还有个儿子叫杨玄感。杨玄感认为父亲杨素虽未被杨广毒死，但也是杨广间接杀害的，就有了报仇的念头。而且他早已对杨广心生不满，有了取而代之的念头。所以表面虽还和过去一样，暗中却在积极寻找机会。
大业九年（613），隋炀帝杨广第二次率大军去辽东征讨高丽，命杨玄感去黎阳督运粮食。
当时如火如荼的隋末农民起义已在各地展开，杨玄感岂能放过这个绝好的机会。他当即同自己的几个弟弟和好友李密商议起兵，得到赞同。为了让那些士兵和运粮食的农夫死心塌地地同他在一起干，他暗施一计。第二天天刚亮，他就将所有的士兵和农夫集合起来，对他们说道：“皇上降旨，让我们限期运粮，违期则斩。这里离辽东战场路途遥远，我们根本不可能在期限内赶到。当今皇帝无道，根本不顾百姓死活，像你们这样的兵士和运夫已不知有多少人死在战场上和运粮途中。我实在不忍心让你们白白送死，决定起兵造反。你们愿意随我一起干的，便发誓共讨暴君！”
杨玄感说完这一番话，人群开始小声议论。后来，不知谁先喊了一声：“杨将军，反正我们也是一死，不如跟你一起造反，或许还有一条活路！”众人一听此人说得有理，便都高喊：“杨将军，我们和你一起干！”一时欢呼声响彻云霄。
杨玄感见状，也不由得感到振奋，又安抚了一下众人，便按事先与部下王仲伯、赵怀义商议好的编制整编队伍。附近农民听说这里有造反的队伍，也纷纷跑来加入。
杨玄感将队伍休整了一些时日，便想发兵攻打杨广。但他拿不定主意，先打哪里最好，于是便去找好友李密商议。
李密可不是个简单人物，他本是杨广的禁军左翊卫左亲侍，在大兴殿值班。杨广为人喜怒无常，不知怎么就看李密不顺眼，将他赶出大兴殿，他也就从此离开了禁卫军。
但李密是一个胸怀大志、得之淡然、失之泰然的人，并不为此气恼，反而更加勤奋向上。一天，他坐在牛车上看书，牛角上还挂着一套书。正巧被路过的杨素看见，他见李密气宇不凡，又发现他看的书为《汉书·项羽传》，便与之攀谈，又将其介绍给儿子杨玄感，两人后来成了亲密的朋友。
杨玄感来到李密的寝帐，发现他正在秉烛夜读。李密见杨玄感来了，忙站起身笑道：“杨兄此行可是为发兵一事而来？”
杨玄感先是一愣，继而赞道：“李兄果真料事如神！想必李兄早已想好制敌之计喽？”
李密连说“不敢当”，言罢二人坐下。李密这才为杨玄感出了上、中、下三条计谋。
上策：隋炀帝远征高丽，南面为海，北面有突厥，只有一条归路。若出兵占据临榆关（今辽宁抚宁境内），断绝隋兵退路，等于扼住其咽喉。高丽军闻讯，必在后面追击。用不了多少时日，东征大军粮草断绝，不战自败。
中策：率军直取长安，现在各地农民义军风起云涌，必会积极响应。我们网罗天下豪杰，以潼关天险固守，即使杨广率东征大军回来，也可与之周旋。
下策：进军洛阳，占领都城。但是洛阳守军闻讯必会加强防守，而杨广得到消息也会率东征军回来相助，两军夹击，结局可就难说了。
杨玄感却偏偏选择了李密的下策。他认为打下了东京都洛阳，大隋的江山即到手一半了。到那时，东征军必人心动摇，自己再乘胜追击，便可杀死杨广，号令天下了。李密见他执意要先攻洛阳，也不便再劝，只在心中叹息了一声，暗暗为自己做日后的打算。
次日清晨，杨玄感便让他的弟弟杨玄挺为先锋，亲率五万大军直逼洛阳。
但是，果不出李密所料，洛阳守军听到杨玄感前来攻打的消息，加强了防守。杨玄感久攻不下，两军陷入对峙。杨玄感见状没了主意。想了两天，又决定放弃洛阳，采取李密的中策，攻打长安。
在攻打长安的途中，经过弘农（今河南省灵宝），弘农太守杨智积为了拖住杨玄感，不让他去攻打长安，便在城楼大骂杨玄感。杨玄感果然中计，下令攻打弘农。李密看出杨智积用的是缓兵之计，便劝杨玄感不要理他，迅速攻占长安。否则不能占领潼关，追兵来到，便无处可守。杨玄感哪里肯听，非要以十万大军踏平弘农，再打长安。
但是弘农城非常坚固，并不是说攻就能攻下来的。还没等杨玄感攻下弘农，铺天盖地的隋军已从身后杀过来。杨玄感的军队毕竟没有经过多少正规训练，人数又比隋军少，被隋军分割成小块，各个歼灭。杨玄感和他的弟弟见大势已去，拨马落荒而逃。跑了不知有多久，来到一个叫葭芦戍的地方。杨玄感回头一看，只有弟弟杨积善一人跟在自己身后。想到自己轰轰烈烈的起义就这样失败了，他不禁长叹一声：“唉，悔不该不听李密之言。”又转身对弟弟说，“我不能死在隋军手中，你杀了我吧！”
杨积善怎忍心对自己的亲哥哥下手？杨玄感见状大怒，痛斥他。杨积善无奈，上前一剑将哥哥刺死，自己正欲横剑自刎，追兵赶来，将其擒获。
隋炀帝从辽东返回后，即刻下令将杨氏兄弟全部杀光，一个不留。又命人将杨玄感的尸体焚毁。这还不解恨，又对御史大夫裴蕴说：“杨玄感造反，竟有十万之众随从！看来天下人还是太多了，多杀些也无妨，还可惩戒后人！”
裴蕴等人按杨广的旨意，大开杀戒。凡是与杨玄感沾亲带故，甚至只是沾一点边的全部杀死，连得过杨玄感救济粮的老百姓也不放过。
这次杨玄感起义失败，战斗中死亡和受株连被杀的人数远远超过十万之巨，损失惨重。
这一年，房玄龄的父亲房彦谦从隋炀帝东渡辽河，监扶余军道。眼见得朝廷腐败不堪，多半官员都变节了，房彦谦却始终不渝地守职尽责，做人的原则没受半点干扰，真正是众浊而独清，众醉而独醒。他本来身怀出众的才学，有识者曾预言他前程远大，却遇到这等污浊世道，难免被那些执政官员们所诟病。由于告讦中伤，房彦谦被贬为泾阳县令。上任仅半载便忧愤成疾，一病不起。
初冬时节，房玄龄得知父亲病重的消息，便告假回家，尽心照料父亲，连着一百天竟没脱衣服。第二年春天，房彦谦病故，时年六十九岁。父亲死时，房玄龄一连五天水米未进。
这时房玄龄已经是三十四岁的人了。
天下大乱导致群雄奋起。继山东义军之后，国内又有十余路英雄起兵举事，各占邑郡：
窦建德在漳南称夏王；
李轨在河西称凉王；
梁师都在延安称解事天子；
萧铣在江陵称梁帝；
薛举在陇西称西秦霸王；
李密在巩县称魏王；
沈法兴在毗陵称上梁王；
林士弘在江南称楚王；
李子通在江都称吴王；
朱粲在南阳称楚王；
刘武周在马邑称定阳王；
王世充在东都洛阳称郑帝。
这些人远比几年前的山东义军更厉害，他们大都是昔日的文官武将，有文化懂谋略，有军队有实力，一出手便气度不凡，怀着称孤道寡的梦欲从大隋手中分切一块蛋糕，有的甚至不以割据一方为满足，简直就要取大隋而代之。
除了这十余路英雄，还有各地大大小小的流民草寇，林林总总竟不下二百余处。
大隋的末日即将来临了。这些原本都在房玄龄的预料之中，而此时他守孝期满，已返回上郡。眼见中原已乱，虽有忧国忧民之志，无奈他的经历和所受的教育，又不可能使他加入到农民起义的洪流中去。
在他看来，那十八路英雄当中最有潜力的，当数瓦岗寨的李密和河南的王世充。但这二人也是多了些草寇习气，少了些王者风范。凭借敏锐的政治眼光，他仍在观望等待，他想看到一个真正能执掌乾坤的人，一个真正的明主。
