身处上郡的房玄龄，见李渊父子的军队纪律严明，战斗力强，而且礼贤下士，深得民心，颇有定天下的大志，便毅然离开上郡去了渭阳。行前，他去黑水寺与孤悬法师告别，孤悬赠他一把长剑，合掌言道：“良禽择嘉木而栖，贤臣择明主而事。如今已是云破日出，你就去吧！”又说，“我已给克明修好一封书信，不出三月，定教他去军中找你。”
这是隋大业十三年（617）八月下旬的一个阴雨之日，房玄龄与妻儿一起上路了。卢绛儿和孩子乘坐的马车要去大兴城，房玄龄让他们暂往母亲处住着，因为他这一去，此后必是匆匆军旅，上郡亦非归所。
时年三十八岁的房玄龄决意出山，在这纷纭乱世里寻求自己真正的事业。这是他等待了多年的一次郑重选择，是他处于人生低谷时的一次奋起，也是时代给予他的一次难得机遇。所以他显得毅然决然，身边只带着孤悬法师送与他的那把长剑。
行至路口，要分手了，夫妻二人执手相看泪眼，无限眷恋，不忍西东。房玄龄道：“投军以后，难免九死一生。但我志向已定，虽九死亦无悔。夫人曾剜目以示忠贞，今后即使我不再得见夫人一面，这一生也永无遗憾了。”
卢绛儿道：“功业未成，夫君还是不要说那些凄惶的话吧。为妻有婆婆相伴，管保替你把儿子养好就是了，你自不必担心。今后的事，夫君务必小心则个；一旦得了安稳，为妻便去随你。”
二人洒泪相别。房玄龄一路风尘，昼夜兼程，胯下白马也累死在当途，这一日便蒙着一身风尘来到渭阳城。见街巷到处都是盔甲簪缨，旗帜上绣着斗大的“唐”字，便知道是来到李家军的驻地了。房玄龄策杖徐行，行至中街一座虫王庙前，见庙墙上贴着一张布告，布告上声言：
“义军广纳豪杰，凡有愿意为国家效力者，经人举荐便可注册。”
房玄龄正驻足观看，忽有一位纶巾白脸的官员走过来，在他肩头重重拍了一下，朗声叫道：“啊呀，这不是房乔先生么？你怎么不在上郡供职，跑到渭北来了？”
房玄龄转头一看，却是前内史省文林郎温彦博。房玄龄与温彦博原是旧识，但自从他迁至幽州总管罗艺手下任司马以后，就再也没见过面。温彦博与其胞兄温大雅都极富文才，温彦博对房玄龄的才学也早有仰慕，如今温彦博随罗艺一起归唐，授幽州长史，封西河郡公。
得知温彦博此时就在李渊帐下为官，房玄龄不禁大喜，便把前来投军之事说过。温彦博遂执手说道：“举荐人非我莫属啊？房公你且随我来，我领你去见敦煌公。”
房玄龄于是随了温彦博前往临时军府。不待侍卫通报，温彦博径自奔了进去，悦然禀报说：“主公且看，我为您引了谁来？”
却见上座一把交椅，坐着一位年轻将军，一身紫色金边战袍，手按一柄青龙长剑，卧蚕眉，细长眼，面庞清秀，身躯魁伟。温彦博又说：“主公可记得，当年司隶刺史房孝冲么？这一位便是孝冲先生的公子，房玄龄啊！”
上座的便是十八岁的敦煌公李世民，此时正与帐下几位将领研究进兵方案。李世民当然知道房彦谦的大名，但对房玄龄却并不熟悉；既然有温彦博推荐，李世民便将房玄龄留下，说：“你且在我军府中安顿了，择日再与君求教。”遂执手出帐相送，嘱咐温彦博好生款待。
三日后，李世民果然把房玄龄找来长谈，深感他文韬武略，才华绝代。于是欣喜不已，说道：“与君相识，有如见到久别的故人。”房玄龄也觉得李世民礼贤下士，平易近人，弱冠之年却能持重。两人互谈军事，交换见解，往往一拍即合，相知恨晚。
于是，三十八岁的房玄龄被任命为渭北道行军记室参军，执掌军符、文告、军机之事，起草章表文檄。
