裴矩字弘大，河东闻喜地方人。祖父叫裴他，北魏的都官尚书。父亲叫裴讷之，为北齐太子舍人。裴矩婴儿时期就失去了父亲，长大后喜欢读书学习，颇爱好文章辞藻，有谋略。伯父裴襄之对他说：“看你的气质才识，足以成为一个有学问的人。想要做官发达，当凭藉为世用的事业。”裴矩从此开始留心于世事’。北齐北平王贞做司州牧时，征召裴矩为兵曹从事，后转为高平王幕下为文学之官。直到北齐灭亡。没有得到过迁转。杨坚任定州总管，将他召致来补为记室，颇为亲敬。因母亲逝世而离职回乡守孝。
杨坚做北周丞相。派使者急驰征召裴矩，参与相府记室的工作。杨坚登帝位建立隋朝后，迁升裴矩为给事郎，进掌舍人工作。南伐陈朝时，领衔元帅记室。攻下丹阳后，晋王杨广派裴矩和高熲去没收陈的地图和户籍。明年，奉炀帝命令巡视安抚岭南地区，未及成行而高智慧、汪文进等联合作乱，吴、越的道路不通，炀帝难以遣裴矩动身。裴矩却请求让自己急速前去，炀帝同意。走到南康，召得士兵数千人。当时，俚人首领王仲宣逼攻广州，派部将周师举围攻东衡州。裴矩与大将军鹿愿赴援。敌军建立了九个棚营，屯驻大庾岭，互为声援。裴矩派兵进击攻破，敌方惧怕，放弃东衡州而据守原长岭。裴矩又进击攻破，遂斩杀了周师举，从南海进军援助广州。王仲宣的军队因害怕而溃散。裴矩安抚收服了二十多个州，并继承过去制度署派俚人乱军首领为刺史、县令。返师回报，炀帝非常高兴，召裴矩上殿，、亲自慰问辛劳，又看着高熲、杨素说：“韦洗率2万兵，不能及时过南岭，我时常担忧他的兵少。而裴矩能以3000弱兵，直达南康。有这样的臣子，我还有什么可忧虑的！”因裴矩有功，拜为开府，赐爵位闻喜县公，赏赐物品二千段；授官民部侍部，不久迁升内史侍郎。
当时，突厥强盛，都兰河汗的妻子大义公主，就是宇文氏家族女儿，因而屡为边患。后因公主与侍从的胡人私通，长孙晟先揭发这件事，裴矩奏请出使说服都兰可汗，把宇文氏明正典刑，处决示众。炀帝听从了他的建议。结果果如裴矩所言，公主被杀。后来，都兰与突利可汗联合发难，屡犯边境要塞。炀帝下诏命太平公万岁为行军总管；出兵定襄道，以裴矩为行军长史，大败达头可汗于塞外。史万岁阵亡，其军功竟没有叙录。炀帝以启民可汗归附不久，令裴矩去进行抚慰。返京后晋升为尚书左丞。同年，文献皇后去世，太常过去没有有关葬礼制度，裴矩和牛弘就根据《齐礼》进行制定了一套礼制。转为吏部侍郎，被公认称职。
炀帝登位，营建东都，裴矩正任职修府省，90天完成了营建工程。当时西域诸国，大多到张掖与中国做买卖。炀帝命裴矩负责掌管这件事。裴矩知道炀帝正企望远略边境，凡来往的西域各国商人，裴矩都诱使他们谈论其国家的民风习俗、山川险易等，撰写成《西域图记》三卷，呈奏给炀帝。书“序”说：
我听说夏禹定九州，疏导黄河，没有逾越积石；秦灭六国，修建堤岸，终点只到临洮。所以知道西胡杂种，居处僻远，礼仪教化不易达到，文字书籍也很少流传。自汉朝建国，开拓黄河以西地区，开始称名号的有36个国家，以后分立，乃有55位王。汉朝设置校尉、都护来招抚。然而叛服不常，屡次发兵征讨。后汉时，校尉、都护等官时存时废。虽然大宛招致后，略知人口户数，但各国山川名称都不知道。至于姓氏风土，服饰物产全都没有记载，世上也无人听说。加之年复一年地过去，年代久远，兼并征战，互有兴亡。或地方是原来国家的，而已改成了现今的国号；或已不是归人掌权，但仍袭用了过去的名号。加之各部落民众交错而居，国界移改，语言不一样，许多事情难以弄得准确，于阗的北面，葱岭以东，考证以前史书记载，有三十余国。其后由于相互攻伐屠杀，仅剩下十来个国家，其余的都沦没了。扫地俱尽，空留丘墟，无法记录识别了。
皇上受天命，育万物，不会华夷，都看作自己的子民，所以四海之内的百姓无不敬慕归化。仁化之风所及，近年来，职方贡物按时敬纳，僻远的地方也到来不缺。我因为做抚纳工作，又监督管理关市，搜集文献，采访胡人，或有怀疑不明白的地方，随时从人们口中弄清楚。依照各国的服饰仪容，王和一般百姓不同的形貌举止，用图画摹绘出来，撰写成《西域图记》共三卷，合计44个国家。又另绘地图，极尽其要害。从西顷过去，北海之南，纵横亘贯近2万里。料想由于富商大贾周游经历过，所以各国情况没有什么不知道。再有一些僻远地方，难以访问了解，不可凭空虚构，因而暂缺。二汉相承所撰写的《西域传》，只要有户民数十，就称之为国王，徒有名号，与事实不符。现今编入书中的国家，都有千户以上，利益尽于西海，多出产奇珍异物。山居地区，没有国名，以及部落小人少的，也多不予记载。
从敦煌出发，到达西海，有三条道路，各有其山川地势险要。北道从伊吾，经蒲类海、铁勒部，突厥可汗庭，渡北流河水，到拂林国，达于西海。其中道，从高昌、焉耆、龟兹、疏勒，越过葱岭，又经钹汗，苏对沙那国，康国、曹国、何国、大小安国、穆国，到波斯，达于西海。其南道，从鄯善、于阗、朱俱波、喝般陀，越过葱岭，又经护密、吐火罗、挹怛、帆延、漕国，到北婆罗门，达于西海。三道的各个国家，南北交通也各自有道路。像东女国、南婆罗门国等，想要到那里去都能通达。伊吾、高昌、鄯善是西域的门户。敦煌则是枢纽咽喉之地。
凭国家的威德，将士的骁雄，扬旌旗于蒙汜之水上，跃骏马而过昆伦山，易如反掌。何往而不至！不过，突厥、吐浑分别雄踞于羌胡之地，成为障碍，所以朝贡不通。现在西蕃诸国通过商人来秘密表示诚服，殷切希望能作为附从。圣上的恩情雨露，泽及普天之下，应施行收服人心的安抚政策。所以，皇上只要派遣使者，不必动用士兵战车，西蕃各国就会臣服，浑、厥即可攻灭。统一戎夏，就在于此举！不有所记述，无以表示威化之远大”。炀帝非常高兴，赏赐物品五百段。每天请裴矩来到御座前，亲自询问有关西域的情形。裴矩盛赞西域有各种宝物，说吐谷浑容易吞并。炀帝于是全心全意地把通西域，筹划统治四奏的事情都委托夺给了裴矩。
转为民部侍郎，还没有到任，就改任黄门侍郎。炀帝再次派裴矩去张掖，招引西蕃。受招而来的有十几个国家。大业三年，炀帝祭祀恒山，这些国家都参加了助祭。炀帝将巡视河西地区，再次派裴矩去敦煌。裴矩派使者说服高昌王麴伯雅和伊吾吐屯设等，诱以厚利，引他们入朝晋见。炀帝西巡到燕友山、高昌王、伊吾设和西蕃胡27个国家，人们都晋见于道路东侧。令晋见的人佩带金玉饰物，穿著华丽的锦缎服装，焚香奏乐，载歌载舞，热闹非常。又令武威、张掖的男男女女盛装来观看。交通要道都被人群和乘骑所堵塞，四周亘贯数十里，以表示中国的强盛。炀帝见了很是高兴。最终攻破吐谷浑，开拓边地数千里并派兵戍守。每年输往钱粮以巨亿计。诸蕃畏惧，相继对隋朝纳贡。炀帝因裴矩有安抚怀远的方略，进官为银青光禄大夫。这年冬天，炀帝到东都洛阳，裴矩因蛮夷来朝贡的很多，暗示炀帝下令京城举行大规模歌舞杂技表演。征召各地的技艺奇异，在端门街演出。穿锦绮衣服、插戴金银珠翠首饰游观的人有十数万。又强迫百官和男女百姓，顺次序坐在戏棚里观看，一个个穿着华丽。热闹了一个月才停止。又下令许多街道上店铺设置帐幕，陈列出丰富的酒食，派掌管蕃人事务的官员率领蛮夷与市民做买卖，所到的地方。全都邀请他们就坐，直到喝醉吃饱而去。蛮夷羡慕惊叹，说中国是神仙之国。炀帝认为他们出于至诚，对宇文述、牛弘说：“裴矩非常了解我的心意，凡他有所陈言建议，都是我想到的。而我还没有说出口时，裴矩却提出来了。如果不是一心为国，怎能做到这样呢！”
炀帝派遣将军薛世雄去伊吾筑城屯兵，令裴矩一同前往治理。裴矩暗示西域诸国说：“天子因为蕃人做买卖去中原太远，所以来伊吾筑一城市。”各国都认为所说极是，不再来争逐。回到京城，炀帝又赐钱40万，，裴矩向炀帝汇报情况，提出反问射匮，暗地攻打处罗的计谋。后来处罗为射匮所迫，终于随使者入朝晋见。炀帝非常高兴，赏赐裴矩貂皮衣和西域的珍宝器物。
随从炀帝巡视塞北，曾到临启民可汗的驻扎地。当时高丽派遣使者与突厥先有往来，启民不敢隐瞒，把使者引来见炀帝。裴矩因而上言说：“高丽地方，本是孤竹国。周代把它封给箕子，汉代分为三郡，晋朝也统领有辽东。现今却不臣服，独立于外，所以先帝憎恶它，长久以来就想出兵攻打了。只因杨谅无能，师出无功。陛下现正在位，怎能不完成此事，而让这块文明国土，仍陷于蛮荒落后吗？现在它的使者来朝见突厥，亲会启民，全国归顺，必然害怕皇上威灵显赫远大，考虑到后降服而先亡。胁迫使其入朝归顺，是可以做到的。”炀帝问：“怎么做？”裴矩说：“请亲自诏见其使臣，放回国，他会传话给国王，令其赶快入朝晋见。否则，就要率同突厥，立即征伐诛杀。”炀帝采纳了他的意见。高元不听从命令，于是筹划征辽计策。隋军到达了，用原来官员率领武贲郎将。明年，再次随军到辽东。兵部侍郎斛斯政逃亡到高丽，炀帝命裴矩兼掌握军事。以其前后两次参加渡辽的军事行动，进官为右光禄大夫。其时朝廷法纪松驰，人们变得没有操行，左翊卫大将军宇文述、内史侍郎虞世基等揽权用事，文武官员多以贪污受贿闻名。只有裴矩仍坚持廉洁清白，没有贪赃枉法的坏名声，因而为世人所称赞。
回到涿郡，炀帝因杨玄感刚被平定，命裴矩去稳定陇西的边塞要地。因而到了会守，慰问曷萨那部落，派阙达度设袭击吐谷浑，掳掠物资很多，部落富裕了起来。回朝向炀帝汇报情况。炀帝大为赞赏。后来随军队到怀远镇，诏命他总领北蕃的军事。裴矩因始毕可汗部众渐渐强盛，献计分割其势力，准备把隋朝宗室之子嫁给他的弟弟叱吉设，并拜为南面可汗。叱吉设不敢接受。始毕知道后，渐渐对隋朝产生怨恨。裴矩又对炀帝说：“突厥本来淳朴容易离间，但由于它里面有不少胡族人，既桀骜又狡黠，教坏了始毕。我听说史蜀胡悉奸计特别多，得到始毕宠幸，必须把他诱杀掉。”炀帝说：“好”。裴矩就派人告诉胡悉说：“天子拿出大量珍贵物品，现在马邑，想用之为和各蕃国交通往来。假如谁前来，就可得到好物品。”胡悉贪而相信了。不告诉始毕，就率自己部落，驱赶着牲畜，星夜奔驰前进，希望能争先与隋朝互做买卖。裴矩伏兵马邑下，诱而斩杀了他。炀帝下诏通知始毕说：“史蜀胡悉忽然部落来到这里，说他已背叛可汗，请求我方收留。突厥既然是我的臣下，他有背叛行为，我们当共同杀掉他。现在已杀了他，特命人告知。”始毕也知道实际情况，因此不再称臣朝见。大业十一年，炀帝到北方巡视，始皆率骑兵数十万，围炀帝于雁门。下诏命裴矩和虞世基每晚住宿朝堂，以备随时顾问。围困解除，随从到东都。嘱咐射匮可汗遣派姪子率西蕃诸胡来朝贡，炀帝诏命裴矩设宴招待。
不久，随从炀帝驾幸江都宫。这时，四方盗贼纷纷而起，郡县向朝廷告急的文书不胜统计。裴矩反映隋况，炀帝大怒，派裴矩到京城去接待蕃客，因有病未能起程。到义兵攻入关，炀帝命虞世基去裴矩家中请教方略，裴矩说：“太原发生变故，京城不得安宁，远距离作决定处理，恐怕会丧失成就事功的机会。希望皇上早回京师，才能够平定。”裴矩重新出来管理政务。忽然骁卫大将军屈突通被打败的消息传到，裴矩禀告，炀帝惊慌变色。裴矩素来勤恳谨慎，从没有触犯人。观天下已大乱，恐身受祸害，对待别人总是尽量满足其愿望，虽然下至仆役，也设法求得他们的欢心。当时护从皇帝的士兵骁果多有逃散的，炀帝很担心，问裴矩怎么办？裴矩回答说：“当前皇上留在这里（指江都），已经两年。骁果们都没有家室，人没有配偶，就不能长久安心下来。我请求能让士兵在这里娶妻。”炀帝高兴地说：“你真是多聪明才智！这是一个非常好的计谋。”就命裴矩查核负责给将士们娶妻。裴矩命人招徕都境内的寡妇和未出嫁的姑娘，由宫监集中，又招将帅和士兵等来听任所取。并听犯罪者自行陈说罪行，先有奸通妇女和尼姑、女道士的，也立即配给。因此骁果们非常高兴，互相赞说：“这是裴公的恩惠”。
宇文化及作乱，裴矩晨起将进朝，走到街巷棚门处，遇到几个叛乱者，拉着裴矩的马去见孟景。叛乱者都说：“不关裴黄门的事。”不久，宇文化及带着百余骑士来到，裴矩迎接拜见，化及用好话慰解他。命裴矩制定礼仪制度，推举秦王的儿子杨浩为皇帝。任用裴矩为侍内，随宇文化及到河北。宇文化及纂帝位后，以裴矩为尚书右仆射，加光禄大夫，封蔡国公，为河北道安抚大使。
宇文化及失败，被窦建德掳获，因裴矩是隋朝的旧臣，待他很好。重新让他出任吏部尚书，接着转任尚书右仆射，专门掌管铨选职官的事务。窦建德起自群盗，缺少法度礼乐制度，裴矩为他制定帝王临朝的礼仪。一个月内，典章制度即颇具规模，可与王者相比。建德非常高兴，常去拜访并向他请教。窦建德渡黄河讨伐孟海公，裴矩和曹旦等留守沼州。建德军败于武牢，部下许多将领不知投向谁人。曹旦的长史李公淹、大唐使者魏征等，说服曹旦和齐善行归顺。曹旦等听从了。于是让裴矩与魏征、李公淹领着曹旦以及八个皇帝使用的印玺，举山东之地归降于大唐。授官左庶子，后转升詹事、民部尚书。
