隋炀帝奢侈无度，横征暴敛，搞得民怨沸腾，又穷兵黩武，发动了三次攻打高丽的战争，更是火上浇油。人民群众被逼得无法生存，纷纷揭竿而起，反隋斗争的烈火越烧越旺。
隐居故里的魏征，虽说也感受到了苛政之苦，然而他毕竟不同于那些被逼得走投无路的农民，此时还没有被到非铤而走险不可的地步。后来他投奔起义军，也是为了“待有王者兴”，实现其治国、平天下的政治抱负，而不仅仅是做一条绿林好汉或“山大王”的草头军师。因此，他还需要进一步观察天下风云，交结四方豪杰，等待“出山”的时机。那么，出家为道士，正是适合进行这一观察和等待的一个途径。
关于魏征出家当道士一事，史传多有记载。《旧唐书·魏征传》谓：“不事生业，出家为道士。”《新唐书·魏征传》谓：“隋乱，诡为道士。”可见，魏征确实曾有过一个时期的道士生涯，这是他从隐居田园到“出山”的重要转折时期。
在隋代，和尚、道士都是受优待的，不服役，不交租，不纳税。在暴君倒行逆施的年代，得超然无穷无尽苛捐杂税和没完役了的兵役劳役之外，这难道不是布衣平民的莫大幸运吗？道袍在身，四处化缘，道观投宿，走到哪里不愁吃住，不必为旅费操心；又便于掩人耳目，无论去什么地方，也不引人注意乃至怀疑。之所以披道袍伪装道士而不着袈裟装扮和尚，是因和尚得剃度，而“身体发肤，受之父母，不敢毁伤，孝之始也”，魏征不愿让先考妣亡灵伤心。再有道士不像和尚把希望寄托在来世，道士追求今生长生不老，羽化登仙，颇受社会上层欢迎，而道家的符箓方术，疗疾治病，消灾祈福又给社会底层以温馨慰藉，对苦难中的平民很有吸引力，便于接近民众。
魏征何时“出家”，据《新唐书》载“隋乱，诡为道士”。这样看来，当是大业七年（611年）。这一年，魏征刚好30岁。“三十而立”，也是闯天下的年纪了。再说双亲去世，守丧期满，已无后顾之忧，此时不出，更待何日。
魏征披上道袍，表面上仙风道骨，超然物外，而他的内心却极不平静。现存《魏郑公文集》中有《道观内柏树赋》一文，这是魏征子集中唯一的一篇抒情散文（其余全为政论和应用文），描述道观中的一株柏树：树龄20多年了，枝叶茂盛，而树干不过几尺，为什么长不高呢？被笼罩在杂草之中，覆盖于荆棘之下，满身伤痕而坚韧刚毅、不畏霜寒的本性不渝。就这样虽然枝叶繁茂，也无法自己表现出来。只可惜它不生长在高山上、悬崖边，有日月的光辉照耀，有云雨为它装饰打扮，反而和那些平庸无用之辈混在一起，这难道就是圣哲所说的“方以类聚，物以群分”吗？因此，它慨叹自己高尚的节操没有机会得到表现，一片忠诚正直之心无人相识。它盼望春天尽快到来，它将装点景色让园林更加美丽。而当前事态严峻，如一日已到傍晚，似一年正值隆冬，百草惶惶，像受惊的飞蓬不得安宁，无穷无尽的愁苦犹如天空乌云连绵迭起。千里冰封，万里雪飘，众多草木都凋零了，而它将孤独地亭亭直立，保持敢傲霜雪的本性，将与树中君子并驾齐驱。这里，魏征显然是夫子自道，以树作喻，既抒发了对现实的不平，也对未来寄予厚望，而最核心的则是他明白无误地表露不管在怎样艰难困苦的情况下，不气馁，不随波逐流，坚定不移地走自己的人生道路。
在这一时期，魏征以道士身份，云游四方，舍药消灾，联络乡民，结纳豪杰，有许多佳话流传于世。“魏老道”在民间留下了高尚而丰满的形象。
关于魏征出家一事，民间传说颇多，可与正史记载互补。
河北晋县东紫城的汉京观，是县境内五大庙观之一。从前观门上方悬挂着一块宽大的木匾，上面刻有“汉京观”三个刚劲有力的大字。相传这三个大字是魏征在这观中当老道的时候书写的。隋朝末年，魏征听说汉京观的道长张清，正在联结四乡农民，准备武装起义，便前来投奔。
汉京观有着不凡的来历。东汉末年，黄巾起义军的首领之一———地公将军张宝，率领数万将士与官军血战于巨鹿下曲阳，直到粮尽援绝，英勇牺牲，数万义军将士，也都战死在沙场，是为有名的下曲阳大战。后来，附近的村民埋葬了死难将士的遗体，又修造了这座汉京观，这观中的张清道长，正是张宝的八世孙儿。他收留魏征为徒弟，在汉京观联络乡民，结纳英杰，暗中集结反隋武装力量。
魏征知识渊博，是生活中的强者，又极聪明干练，如今当了道士，便很快熟悉了道教经典规诫及一应斋蘸祭祷仪式，静坐修炼、云游布道、除病消灾，样样在行，很快成了一个德行高尚的全真道人。
在汉京观，除了老道长以外，魏征年龄最大，被尊为“大师兄”。他除了学识渊博，受到大家敬重之外，还因为是半路出家，既懂农活，又有勤俭持家的办法。为了改善道士们的伙食，他在园子里种上了各种蔬菜，还粗粮细做，把谷面饽饽改成小米面饼子，每顿饭配有瓜菜粥、自己腌制的小咸菜等，如此既调剂了大家的生活，又节约了粮食。这样一来，大家就更佩服他这个“大师兄”了。
魏征经过几年的云游布道，治病消灾的实践，医术有了长足的进步。在他的故里，流传着许多关于魏老道治病救人的佳话。人们感念他的功德，每逢清明节，都到魏征祠去祭奠。在1946年魏征祠被毁以前，这里一直香火很盛，前来祭祀的乡民中，还有赵县魏家庄派来的人。据他们说，隋末兵荒马乱的年头儿，他们村忽然闹起了瘟疫，许多人头痛发热，上吐下泻，不几天就死了。乡亲们都焦急万分。这时候，忽然有个老道，带着两个道童来到十字街心。老道面向东方一坐，就微闭双目，运起神功来了，道童也将挑子放在地上。不一会儿，就里三层、外三层围过来许多人，大家不知是何方仙长降临，不约而同地乞求仙长为他们消灾。只见那老道猛睁双目，用清澈的目光打量着众人说：“那一天，我师父正在打坐，我刚把楼窗打开，他老人家就惊呼道：唉呀，不好，众苍生要遭灾难了！我顺着他手指的方向看去，只见空中有一团黑气飘过，这叫瘴气，飘到哪里，哪里就会染上瘟疫，我正是奉命追踪这股瘴气来到此地的。”他让道童打开箱子，取出一个大纸包来，交付村里一位德高望重的长者，嘱托道：“这是专门配制的正气散，里面都是一小包一小包的药，每人只需服半包就好，告诉邻村的人们，让他们也来领药。”仙长舍药的消息迅速传遍了四乡五里，“正气散”全部发放了出去。还真灵验，药到病除，一场瘟疫很快就被治住了。然而老道却已不知去向，后来，人们四处打听，才知道那是巨鹿下曲阳汉京观的魏征。这个村的人们为了感念魏征的救命之恩，就以他的姓为村名，改成了魏家庄。魏征去世以后，清明节乡亲们都要派人到魏征祠来进香。
相传，某日有个道童出观打水，见一条大汉昏倒在观门前，急忙进去禀报。魏征一搭脉，还有救，便叫人抬至观内轻轻放在床上，急忙取出银针救治，行针不久，那人“哎哟”一声，一阵呕吐，吐出许多积食。魏征又给他灌了霍香正气汤，那人就迷迷糊糊睡熟了，直到深夜，才清醒过来。魏征这才知道，来人正是山东好汉秦琼。他从潞州回山东途中，忽觉胸口发闷，腹中一阵阵绞痛，本想在这道观台阶上坐下歇息一时，可是刚刚挨上台阶，就什么也不记得了。经过魏征精心调治，秦琼很快就恢复了健康，他们通过这次交往，结下了深厚的友谊。
当然，上述的故事都是传说，不足为凭。但有一件事是确切可信的：魏征云游时到过馆陶，那是他的祖籍，有亲人应当访问，双亲的灵柩，尚滞留他乡，迟早得归葬故土，也需事先料理安排。在馆陶，他与小他12岁的薛收不期而遇，两人一道去过河东。薛收是河东汾阴（今山西万荣县西南）人，生父薛道衡曾任官内史侍郎、襄州总管、司隶大夫，被杨广无辜杀害，薛收心怀怨恨。道衡与族弟薛孺偏相友爱，薛收出生即过继给薛孺，由孺抚养成长。时孺任清阳（今山东临清东北）县令，收受业龙门（今山西河津县）王通门下。薛收前往清阳省亲，返河东途中，与魏征邂逅相遇，意趣相投，一见如故，遂成忘年交。薛收邀请魏征前往龙门，征欣然应允，因他早闻王通大名，也想王通字仲淹，河东龙门（今山西河津县）人，少有四方之志，受《书》于东海（今江苏连云港西南海州镇）李育，学《诗》于会稽（今浙江绍兴）夏琠，问《礼》于河东（今山西永济县蒲州镇）关子明，正《乐》于北平（今属河北）霍汲，考《易》于族叔王仲华，潜心苦读，六年不解衣。仁寿三年（603年）20岁时，西游长安，见隋文帝杨坚，献“太平策”十二计，不为所用，退归乡里，著书讲学，受业者千余人，享誉一方，这自然是魏征愿与交往的。
到了王通家，魏征很受礼遇，得与通就时事、政治、人生理想等重大问题交换认识。王通盛赞魏征为人正直，敢作敢当，以为魏征若能生逢其时，可至卿相，只是礼、乐方面的修养尚嫌不足。魏征也颇为王通的学识渊博所折服，对他满腹经纶而不遇明君以至仍为布衣感到惋惜。尽管彼此都相互尊重，但二人思想距离很远，几乎在涉及的所有问题上都难有共识。
他们针对形势讨论过“天命”。王通说：“顺从天命，其实说的是人事，因此君子很怕它。自然界的万物无论远近、高低、深浅的变化没有不和天命相应，社会上的万事不管大小，曲直的发生没有不与天命相成，所以一切都决定于天。《易经》说：‘万物都受天道变化的支配，适应天道的变化而发展。’”
在民众已经起来反抗杨广暴政之时，王通如此极力宣扬天命，不管动机怎样，总是有利于暴君。魏征作为客人，不便直接反驳，但他很聪明，巧妙地援引儒家典籍明确无误地表示了异议。魏征引《尚书》的话说：“遵循正道就吉利，依从邪恶就凶险，正像影子与形体、回声与音响一样。”又借《诗经》的话说：“对百姓既和易又尊敬，享福多得说不清。对臣下不侮慢不高傲，种种福气都来到。”这里魏征只字不提天命，而把吉凶祸福归结于人的行为，再清楚不过地表明了他对天命的否定，而更高明的是，魏征引用的这两句，前一句出自《尚书·大禹谟》，是舜与大臣讨论时政的记录，后一句出自《诗经·小雅·扈桑》，按传统的解释，这诗是“刺幽王也，君王上下，动无礼文焉。”很显然，魏征否定天命是就时事而言，矛头直指暴君杨广。
他们也曾探讨治国施政的事。魏征说：“根据法令行事怎么样？”王通说：“如果用德、礼从根本上加以整顿，无人犯法，刑法也就搁置一边没有用处了。因此政治最完善的时代，法令空悬宫阙而无人违犯；稍次一点的时代，就是有人犯法也不多；所以根据法令讨论政事，那是政治不好的时代采取的办法。假若我有机会执政，就一定要使诉讼完全消除。”消除诉讼，是孔子的理想，孔子认为，用法令管理老百姓，用刑罚约束他们，老百姓虽能暂时避免犯罪但并不懂得犯罪可耻，只有以德去管理他们，用礼去约束他们，老百姓才懂得犯罪可耻而走正道了。从这也可看出，魏征与王通差别的确太大了。魏征是政治家，讲究实际，发言立论都有所指，他说施政应以法令为依据，就是针对杨广凭着个人意志倒行逆施而言的，想用法令约束暴君，而王通则太学究了，空谈理论，对现实政治无补，对暴君则更是对牛弹琴！
他们也曾就人生理想交换过意见。一天，王通在田间看仆人种地，魏征和王通的两个弟子杜淹、董常一起偶然来到地边。王通提议：“大家谈谈自己的理想吧！”魏征首先发言：“我愿事奉贤明的君王，在他跟前要想一切办法竭尽忠言，离开他后要想办法帮助他弥补过失。”杜淹接着说：“我愿执行贤明君王的法令，使天下无人遭受冤屈。”最后董常说：“我希望圣人的理论能在世上实行，在这样的时代，我董常也就没有什么别的事可做了。”王通十分赞赏董常，他说：“这真是伟大的志向啊，我赞同董常的理想。”魏征事明王，决心以自己的智慧和才能为他效忠竭力，与董常的墨守成规，无视个人意志和价值形成了鲜明对比，而王通极力盛赞董常，无疑是对魏征的委婉批评，使魏征感到困惑和震惊，圣人的理论真的是包治百病的灵丹妙药吗？他觉得有必要再细细思索。足不出户，利用王通的丰富藏书，潜心“六经”，探幽索微，寻求真谛。他终于领悟了，儒家讲“仁”，重在人际关系，在太平岁月，对于化解矛盾，保持社会稳定，确实卓有成效；但在动乱年代，群雄纷起之时，却显得迂腐，不合时宜。孔孟之道不得行于当世，只是在汉初文景之治的太平盛世之后才得独尊，其根本原因正在这里。有鉴于此，他似乎对自己日后的人生道路更清楚了，他决定立即离开王通家，投身到广阔的天地中去。
他又披上道袍，回到河北，那里不仅是他的故乡，也是民众受苦最深、反暴斗争最激烈的地方，他要在疾风骤雨中寻找自己的位置。
这时魏征对“纵横之说”发生了浓厚兴趣。所谓“纵横之说”，其实就是政治、军事斗争中的权术和阴谋，其中自然不乏奇策异智，也可称为战略战术。“纵横之说”在战国时期曾风行一时，纵横之士利用他们的聪明才智追逐名利，为实现自身的价值与命运顽强抗争，不少人平步青云，位及人臣，左右了当时的政治舞台，成为时代的弄潮儿。但因他们不讳言名利，公开宣扬“人生在世，权势、地位、金钱，难道可以忽视吗？”这与儒家的道德观念完全背道而驰。自汉武帝独尊儒术之后，其说逐渐势微，纵横之士的朝秦暮楚，也颇为士人诟病。现魏征不避非议，热衷谋略，是他清醒地预感到大乱即将来临，在无序的纷争中，克敌制胜少不了纵横捭阖，他必须事先做好准备，作为向明王尽忠效力的献礼。
