较普遍的记载是“巨鹿曲城人”，后来迁居到相州内黄。据学者考证，巨鹿曲城即今河北省晋县，相州内黄即今河南省内黄县。由此可得出结论，魏征的祖籍为河北晋县，这个地方在河北省中部偏西，滹沱河流域，德石铁路经过境内。汉置下曲阳县，隋改鼓城县，明入晋州，1913年改晋县。
关于魏征的先世，在《魏书》和《北齐书》中都没有关于他先世事迹的记载，只有唐代李延寿所撰的《北史》卷中有他父亲魏长贤的传，该传称魏长贤是北魏著名史学家魏收的族叔。如果这一说法可靠的话，那么魏收的先世也就等于是魏征的先世了。据魏收的自序中可知：他们的有史可考的祖宗可追溯到汉代的高良侯魏无知，魏无知的儿子叫魏恢，魏恢的儿子魏彦，当过本郡的太守，魏彦的儿子魏悦，曾当过济阴太守，以善政著称。魏悦之子魏子建，曾任太尉从事中郎、东盖州刺史，并在平定甘肃天水、秦安一带的武都、成县一带的氐帅韩祖香的战事中，善用安抚和镇压并重的政策，“前后斩获甚众，威名赫然”，果北魏孝明帝龙颜大悦，“诏子建兼尚书行台，刺史如故，于是威振蜀土，其梁、巴、二益、两秦之事，皆所节度。”后来，返回洛阳，累迁卫尉卿，初右光禄大夫，后历左光禄大夫，加散骑常侍、骠骑大将军。史称魏子建“出为藩牧，董司山南，居脂膏之中，遇天下多事，正身洁己，不以财利经怀。及归京师，家人衣食，常不周赡，清素之迹，著于终始，性存重慎，不杂交游”，于永熙二年（533年）春去世，终年60岁。
魏收即是魏子建的大儿子，而魏征的父亲魏长贤，与魏子建是族兄弟的关系。长贤的祖父为魏钊，本名显义，字弘理，钊为魏世祖所赐。史称他“雅性俊辨，博涉群书，有当世才，兼资文武，知名梁、楚、淮、泗间。”魏世祖准备征伐江南，闻魏钊之名而特别召见，交谈一番后非常高兴，大为赏识，对魏钊说：“我这次南伐，正是你建功立业之日，希望你好好跟我干，不愁不富贵。”任命他为贴身随从，不离左右。南伐军打到淮南地区，一度南进受阻，许多城池始终攻克不下，魏钊及时进计道：“陛下百万之军，风行电扫，攻城略地，所向无前，虽有智者，莫能为计。然而师次淮南，已经累日，义阳诸城，犹敢拒守，此非不惧亡灭，自谓必可保全也。但陛下卒徒果锐，杀掠尚多，人皆畏威，未甚怀惠，恐一旦降下，妻子不全，所以迟疑，未肯先发。臣请间入城内，见其豪右，宣达圣心，示以诚信，必当大小相率，面缚请罪。陛下拔其英楚，因而任之，此外诸城，可不劳兵而自定。”魏世祖非常赞同这种做法。魏钊于是当夜潜入城中，大搞“统战”宣传工作，结果收效甚著，城中大小欣悦，第二天早晨就开城门投降了北魏。此后往南许多城，纷纷归降。魏世祖对魏钊说：“卿之一言，逾于十万之师。”为表彰魏钊的功劳，授予他义阳太守、陵江将军的职务，不久又升为建忠将军。正当皇帝对他格外看好并准备进一步重用时，魏钊得了风疾，虽然有御医的竭力抢救，但仍死在征途之中，终年64岁。
魏征的祖父叫魏彦，字惠卿，也很博学，善写文章。年轻的时候，赵郡王和广陵王都邀请他去当幕府的秘书长，他都谢绝了。497年，氐帅杨灵珍造反叛魏，河南尹李崇被孝文帝任命为都督陇右诸军事，率兵数万前往镇压。李崇邀请魏彦为镇西参军事。魏彦从前线回来之后，请求当著作郎，希望能够撰写一部《晋书》，以树不朽之业。可是，魏彦不久又被彭城王邀请为秘书，兼知主客郎中，再次进入政界，他的从文之理想终究没有实现。彭城王被杀后，他也退归家乡。北魏孝明帝初年，拜骠骑长史，不久又转为光州刺史，68岁时去世。
魏征祖上几辈人博通经史、学兼文武的显赫才华，直言敢谏、不避艰险的凛然正气，以及编撰国史、树立不朽功业的宏图大愿，等等，自然对他产生了潜移默化的影响。整个家族的风气，特别是直系亲属的操守、志向、言行，对他的教诲，也是促其成才并形成其气质、品格和良好品德的不可忽视的客观因素。
在魏征家族中，还有许多成员是才华横溢或操守正直的名人贤士。例如：魏征的族兄魏收，更是硕学大才，当时与族叔魏季景、河间邢子才、邢子明并称“两邢二魏”。北魏时任散骑常侍，编修国史；北齐时任中书令兼著作郎，后迁尚书右仆射，监修国史，编撰了《魏书》，是有名的政治家和史学家。
魏征的族兄、季景之子魏澹“专精好学，博涉经史，善属文”，隋文帝时任行台礼部侍郎，太子舍人，又迁著作郎。文帝因魏收所撰《魏书》褒贬失实，平绘写的《中兴书》事不伦序，诏魏澹另撰。魏澹撰述《魏书》92卷，义例与魏收所撰的《魏书》有许多不同之处。他写的书，校正了魏收和平绘的失误，受到隋文帝的称赞。
魏征的族叔魏兰根，“仪貌奇伟，博学高才，机警有识悟”。他母亲死后，他要伐掉原来董卓祠中的柏树做棺椁，手下人怕董卓有灵不敢伐树。但魏兰根认为董卓是凶逆，不应当保留其祠，因此一点畏惧也没有。在当时封建迷信盛行的氛围中，此举确是罕见的，也是十分可贵的。孝昌年间，他做岐州刺史的时候，跟随行台萧宝夤征讨宛、川，获得胜利。宝夤俘获当地居民为奴婢，并赏给兰根10个美人。兰根说：“这个县临近强虏，所以背叛，现在应抚恤其饥寒，为什么反倒充为仆隶呢？”于是，把美人全部归还其父兄。朝廷以兰根大得西土人心，让他都督泾、岐、东秦、南岐四州军事，兼四州行台尚书，后来官拜中书令、尚书右仆射。
在魏氏家族的成员中，或以文章著称，或撰成国史，或治军从政有方，或节俭而爱民，或义正不惧邪恶。这一切，对魏征的心理素质、文史修养、政治节操、从政特色等，无不有着深刻的影响。
一千多年前，既是一个繁荣富饶的大都会，又是享誉当世的历史文化名城。第十三任商王河亶甲、魏王曹操、后赵石虎、前燕慕容俊、东魏、北齐曾先后在邺建都，说它是六朝故都，也是名副其实的。
邺城位于太行山东麓，是华北平原开发较早的地区之一。它东西通秦、齐，南北达燕、赵；滏水从西边奔来，卫河向东方流去，漳水绕过城北有萦回百折之态（近代漳水河道移至城南），郊野是肥沃土地而无九曲险阻的艰难，史称“其地平广，为天下要”。或言“山川雄险，原隰平旷，据河北之襟喉，为天下之腰膂”。
正是由于邺城处天下交通枢纽，战略地位十分重要，周宣帝宇文赟特派他的姻亲重臣、战功赫赫的名将尉迟迥出任相州总管，统领相（治邺城）、卫（治朝歌，今河南淇县）、黎（治黎阳，今河南浚县东）、洺（治广年，今河北永年东南）、贝（治武成，今河北南宫东南）、赵（治广阿，今河北隆尧东）、冀（治信都，今河北冀县）、嬴（治赵军都城，今河北河间县）、沧（治饶安，今河北盐山西南）9州，坐镇邺城，扼守咽喉。
