此时房家府上，上有高堂老母芸若，时已八十有六，病卧在床盖有年矣。中有房玄龄夫妇，玄龄多病，夫人卢氏虽说只有一只眼睛，所幸身体还算硬朗。下有长子遗直，次子遗则，末子遗爱；女儿奉珠嫁给韩王李元嘉，随夫远徙滑州任上。除了次子遗则之外，遗直和遗爱各有一群子女，再加上府中佐属佣人，也不下百余口人。
房玄龄是个大孝子，对老母毕恭毕敬，见她有了脸色，便诚惶诚恐，恭谨之心超过常人。母亲卧病之后这几年，他抽空四处请医问药。孙思邈是一代名医，归唐后一直在太医署供职，房玄龄把他请到家里，亲自帮他抄写《千金方》。孙思邈每次来去，房玄龄都要在大门口迎拜，有时甚至垂泣不已。
房玄龄治家很有方法。他常常害怕子女们会骄纵奢侈，以势欺人，所以汇集古今家训，写在屏风上，让每个孩子都保存一具。他对孩子们说：“你们如果能注意照着去做，就完全可以保住自己了。汉朝的袁氏家族，几代为国家尽忠守节，我非常仰慕，你们应该向他们学习。”
古训“长子持家”。房遗直此时已经年逾而立，承袭了家族的爵位，授任礼部尚书。他忠厚诚实，处事谨慎，性格类似乃父，但才干逊之。
这期间，房玄龄虽然位列三公，却也不得轻松，除了修撰《高祖实录》和《当朝实录》之外，还要陪侍太子李治，同时还要主持门下省一应事务，参与朝政。
不久两部书稿修成，各二十卷。太宗见书大悦，降旨褒奖，称赞“文辞精美，内容丰实”，并加盖皇帝玉玺以示隆重，赏赐房玄龄绢帛一千五百段。
次子房遗则因为身体不好，一直在秘书省做个品阶很低的职吏。遗则心地十分善良，有一段时间，家中让他去料理封邑上的事务，正值其时州里大旱，遗则便宣布免除全部农户两年的租税。回到京师，遗则双手举着一包草药跪呈给父亲说：“封邑上的百姓得知父亲患脚气，让孩儿带回这些草药来。”房玄龄非常高兴，夸奖他懂得体恤下情，会办事。玄龄把儿孙们全都找来，说：“我们房家承蒙皇恩，封地腴厚，府中开销根本用不着忧虑，如果能周济百姓一些，那正是我的夙愿。今番遗则代我免除封地两年租税，正是我想做而没时间去做的事情。真是太好啦！”
遗则经常将药汤泡好，父亲睡觉之前，他亲自端起铜盆为父亲泡脚，不用下人伸手。他偷偷对母亲说，父亲身为当朝宰相，若让佣人看见他一双烂脚，会损害父亲的名声。其时人们患脚气的十分普遍，为此太医孙思邈曾专门研制了治疗脚气的药方。春秋两季，天气不冷不热，遗则与府中一位姓陈的侍卫长一起，研究出一种既看着得体又能透气的鞋子，让家里有官职的人与官服配套穿。
房玄龄的女儿奉珠，排行在遗则之后，遗爱之前。奉珠貌美如仙子，性情温顺，被卢绛儿视为掌上明珠，也深得玄龄喜爱。奉珠十九岁时，因太宗做媒，嫁与韩王李元嘉。
李元嘉是高祖李渊与隋朝大将军宇文述的女儿昭仪所生，太宗的异母弟弟。当年高祖十分宠爱宇文氏，及即位时，曾打算立她为皇后。宇文氏自认才智威仪均不如窦氏，因而坚辞不受。元嘉因为母亲受宠的缘故，自幼颇得高祖的喜爱，后来的小弟弟们谁都不及他。
元嘉最初被封为宋王，十五岁时出任潞州刺史，那年得知母亲有病，元嘉涕泣多日不肯吃饭。母亲过世，元嘉来京城赴丧，哀伤超过礼仪的要求，太宗曾赞叹他天性诚挚，多次安慰勉励他。贞观九年改封韩王，迁滑州都督。
奉珠嫁给元嘉之后，修身持家相夫教子，显得很有教养，跟贫寒家境的读书人家相类似。元嘉少年即好学，府中藏书逾万卷，夫妇俩经常在书房里消磨时光。奉珠受父亲影响，诗文也作得好，二人都能以古文字参定同异。元嘉与同母弟弟鲁哀王李灵夔十分友爱，每当兄弟聚会时，都按照布衣百姓的礼节相待，当世称之。
唯有小儿子遗爱不大省心。遗爱自幼颖悟过人，读书过目成诵，长大后出落得一表人才，太宗经常把他视为自己的儿子，与房玄龄交厚的王珪还把他认作干儿子。京城里有一班勋臣子孙，经常在一起饮酒作乐，去郊外打猎，遗爱逐渐成为他们中间的领袖人物。他为人放肆轻率，性格勇猛，又天生具有组织才能，登高一呼应者云集，这一点跟房家的远祖房法寿很相像。
有一次，遗爱与人格斗，一枪将人搠于马下，呻吟不止，他却在马上仰天大笑。其时正巧被散朝回来的房玄龄望见，便与身边一位善于射弹子的侍卫说：“你把他射下来！”侍卫不肯，房玄龄怒道：“若伤了他性命，与你无干！”侍卫弹出一颗石子，击中遗爱大腿，于是遗爱翻身落马。房玄龄训斥遗爱说：“格斗是为了习武练功，自应点到为止。如果是在战场上，敌人被你打翻在地却未死，你应该继续用枪置其于死地，而不该止于大笑。但现在是在练武，既不能下手过重，更不该见伤而嘲笑他，为什么不立即下马将他扶起来？凡是做将军的人，必是勇猛于敌阵而友善于亲众，否则就是不配。”
当面教子，背后训妻。房玄龄当众训斥了儿子，同时也让那一班青年纷纷跪地领训。遗爱负痛听了，一时无地自容，从此有所收敛。
遗爱二十岁时授任右卫中郎将，供职于南衙，每日往校军场习练骑射，倒也用心。高士廉敬重房玄龄的人品和对国家的忠诚，便择机与太宗说：“玄龄木讷，从不为自己的事情花费心思，家里还有两个儿子未尝婚娶，连我都替他着急了。遗爱是陛下看着长大的，我观察诸位公卿的子辈中间，数他各方面的条件最优秀。陛下何不将他招为驸马，以褒奖玄龄鼎掖社稷之功？”
太宗大喜，于是命高士廉、长孙无忌等人主持，鸿胪寺安排，两个月后便把高阳公主许配给了遗爱。房遗爱拜驸马都尉，官至太府卿、散骑常侍。
太宗总共有二十一个女儿，按年龄排行，高阳公主排为第十七。此女原名合浦，因为初始封地于高阳，故名高阳公主。高阳公主生得很美，十三岁就成人了，至十五岁及笄待嫁之时，早已向往男女之事。她在闺阁中所做的一些荒唐事，房夫人或有耳闻，但念她是公主，不敢违了圣命，况且圣上以千金之女下嫁大臣，感激还来不及呢。
嫁与遗爱之后，高阳公主贪恋床笫之事，每每如饥似渴，一连三个月不许遗爱上朝，并借外出行猎之机放浪山野。太宗很喜爱这个女儿，所以对遗爱的待遇与对其他女婿特别不同。生育之后，高阳公主傲慢而不顺从，倚仗自己是金枝玉叶，在房家说一不二，有时在父皇面前也使性子。
贞观十三年诏令功臣子孙世袭官职之时，房遗直以长子当拜银青光禄大夫，高阳公主心生忌恨，便跟丈夫说：“他一个心笨口拙的木讷之人，论文论武都远不及你，何以让他承袭了爵位？”府佐传话给遗直，遗直很害怕，便有心把爵位让给三弟。一日，高阳公主亲自去跟父皇说了此事，太宗斥责她说：“你虽贵为千金，为父也不能因为你而违背祖制。你既已嫁给房家，就应遵从房府的规矩，以后不许你再提这件事了！”从此高阳公主逐渐失去了太宗的宠爱。
后来，遗爱参与了魏王李泰集团，成为其中的“五虎上将”之一。及至李治立为太子，遗爱也就跟着沉沦，只是看在其父的面子上，遗爱只被降职处分。
