大业十一年（615年）八月，隋炀帝出塞北巡，在雁门（郡治雁门，今山西代县）被突厥始毕可汗（启民可汗之子，名为咄吉）所围。在这次危机之中，李渊大大地出了一把力，派自己的二儿子李世民率兵营救。杨广得救后，为感谢李渊，就下诏他统领太原部兵马，与马邑郡太守王仁恭在北方防备突厥的入侵。
在防备突厥的两年中，李渊的文才武略得到了进一步的展现。由于防备突厥的隋军少，李渊就精选了两千骑兵作为游军，“居处饮食随水草如突厥，而射猎驰骋示以闲暇”（《新唐书·高祖纪》）。
李渊箭法高超，他的老婆就是他靠射箭的本事得来的。《新唐书·太穆窦皇后传》载：
（隋朝定州总管、神武公）窦毅为其女择婿，于屏上画二孔雀，求婚者使射二箭，暗中约定中目则许之。李渊两箭各中一目，遂得窦后。从此，“雀屏”就成了择婿的比喻。
李渊在马邑的防备战中，真是将自己的长处发挥得淋漓尽致。他从游军中选了一些擅长射箭的兵士进行训练，号为奇兵，取出奇制胜之意。经常有小股突厥军队撞见李渊的游军，以为是自己的同族，没有防备，而李渊的奇兵猛然伏击突厥军队，突厥猝然之下大败。几次三番，李渊在马邑立了大功。
大业十三年（617年），李渊被拜为太原留守，同时隋炀帝派遣了自己的心腹王威、高君雅当他的副手。隋炀帝的意图自然是要这两个人监视李渊。这个时候，隋朝天下已经大乱，农民起义的风暴已席卷隋朝大部分地区，先后在各地兴起的起义军大小不下百支，参加的人数达数百万。后来农民起义军汇成三支强大反隋主力：一支是河南的瓦岗军，一支是河北的窦建德军，一支是江淮地区的杜伏威军。
《新唐书·高祖纪》中说李世民知道隋朝大势已去，必亡，所以暗中结交各地豪杰，并招纳亡命徒为兵，与晋阳令刘文静商量谋反大事。当李世民和刘文静将谋反的事情商量得自认妥当之后，就跑去求李渊起兵造反，而李渊“惧不见听”。李世民看劝说不行，就定下一计逼自己老爹就范。
当时李渊在太原还兼任隋炀帝晋阳宫的总监，他的一个好友裴寂为副总监。李世民就和这个裴寂暗中商定派晋阳宫的宫女服侍李渊，酒酣之后，在隋炀帝的别宫颠鸾倒凤。待李渊清醒后，裴寂就将事实的真相告诉给李渊。意思是，你连皇帝的候补老婆都睡了，杀头的大罪，看你还稳得住稳不住，你不造反，我就逼你造反。
李渊自然是大惊，自己好朋友不好拿来开刀，就要将自己的儿子捆绑起来送官。李渊手下各个造反派必然为这个事情劝说了李渊半天，痛哭流涕，劝李渊以天下苍生为重，率部造反。李渊推拒再三，终于答应了他们，同意造反，还对李世民说：“我的儿，阿爹如此爱你，怎么舍得把你送官？”意思是，我是为你而造反的。你们这些部下听见了，我唐国公李渊可不是自己想要造反呀！为了表示自己的“不想造反”，李渊虽然口头上应允了造反一事，行动上却没有表示。
难道李渊真的对隋炀帝忠心耿耿，不愿意造反吗？当然不是。姜毕竟是老的辣，李渊认为时机未到。如果这时贸然造反，必然会留下篡位的坏名声。李渊如意算盘打得叮当响，是想漂漂亮亮，正大光明地，名正言顺地造反。造反要有理，不然，会被天下人唾弃，咱再怎么说也是堂堂的唐国公呀，身份挺重要呢。
借口很快有了。由于在江都的杨广对李渊已经起了猜忌之心，周围忌恨李渊的大臣又上告李渊，不积极对付突厥，让突厥军队屡次侵犯隋朝国土。隋炀帝大怒，就命人将李渊押解到江都问罪。这个时候，李渊再也不装了，他在上路前单独对李世民说：“不早起兵者，顾尔兄弟末集耳。今遭羑里之厄，尔昆季须会盟律之师。”（《大唐创业起居注》卷上）他将自己比作周文王，要李世民等像周武王会盟诸侯伐殷一样推翻隋朝，夺取全国政权。
这边李渊还没有被押解上路，那边隋炀帝却又不知何故派人来特赦他。李渊被特赦后，心里觉得这剩下的日子都是老天赠送的，此时不举事更待何时？而且隋炀帝虽然特赦了他，但毕竟是想将他押解至江都的，以后一句“被逼造反”的借口，也可以用得出去了。于是，他派李建成、李世民等“潜结英俊”、“密招豪友”；以防御突厥为名，招募士兵；用急而示之不急的策略廉价购买突厥的马匹。为隐蔽企图，他“纵酒纳赂以自晦”（《新唐书》卷一《高祖本纪》）等。这些都说明，他早有起兵之意，并极富政治和军事才能。
李渊起兵的第一步是召集心腹研究当今举事利弊。当时突厥的力量相当强大，“中国人归之者甚众”；李密领导的瓦岗军是当时实力最强的起义军。另外割据朔方（治今陕西靖边白城子）的梁师都，马邑（今山西朔州）的刘武周，金城（今甘肃兰州）的薛举，武威（今属甘肃）的李轨等，均对李渊构成直接威胁，比较之下，李渊的势力还比较孤弱，他要兴兵起事，必须取得某些外部势力的支援。
“分析了以上形势之后，李渊定下了起兵的战略是：因势借力，发展自己，先取关中，号令天下，进而统一全国。所谓”因势“，就是因天下大乱之势；”借力“，是借突厥、李密等外部势力为己所用。”（《左手老子右手孔子--感悟中国式智慧》）《资治通鉴》卷一八四《隋纪八》有载李渊派刘文静入突厥见突厥可汗时说：“胡骑入中国，生民之大蠹也。吾所以欲得之者，恐刘武周引之共为边患。又胡马行牧，不费当粟，聊欲借之以为声势耳。数百人之外，无所用之。”
“为了将成为后顾之忧的突厥转化为可以借用的力量，李渊卑辞厚礼以结交之，甚至许诺：‘若能从我，不侵百姓，征战所得子女玉帛可汗有之’；给突厥可汗的信不署‘书’，而署‘启’，给足了突厥可汗的面子，因为古时臣子对帝王上书才用‘启’字。李渊表面上甘心做小，实际上是反退为进的一个招数。果然，当初在雁门围困过隋炀帝的始毕可汗武力有之，智力不足，中了李渊的圈套，转而积极主张李渊取隋而代之，并暗中与李渊谋定了协助事宜。”（《左手老子右手孔子--感悟中国式智慧》）解除了后顾之忧的李渊，准备大干一场了。大业十三年五月，李渊与太原副留守王威、高君雅巡查边境。他暗派的司马刘政跑来状告王威、高君雅勾结突厥意图造反。可巧的是，当日，突厥（按约定）果然入侵隋朝边境，李渊立刻借题发挥，坐实了王、高二人的谋反罪，并立刻斩首，趁机起兵造反。
六月，李渊开始正大光明地募兵了，称作是“义军”，然后开大将军府，置三军。让自己的大儿子李建成为陇西公、率领左军，二儿子李世民为燉煌公，率领右军，三儿子李元吉为故臧公，率领中军。裴寂为长史，刘文静为司马，剩下的曾经在谋反事情上出过功的没出过功的也按照功劳大小分封了官职。
七月，李渊手握一杆白旗，在郊外誓师，述说隋炀帝昏庸无道，借以伊尹放太甲、霍光废昌邑王为名，宣布废掉炀帝，立代王杨侑为帝。代王杨侑是隋炀帝亡故的元德太子杨昭之子，当时才十三岁，人又在长安，所以，李渊明显是醉翁之意不在酒。当然，李渊部下们有的知道李渊的真实意图，也希望靠着李渊，自己也能封侯拜相，有的真被李渊的大义震晕了，一门子为国为民的雄心壮志，而绝大多数的士兵却是为了生存迫不得已加入了李渊的义兵。
混乱的天下，没有真正的贼寇。胜者为王，败者为寇！李渊下令李元吉留守太原，李建成和李世民的部队跟随自己，集军三万，然后振臂一呼，挥动白旗，带着大部队浩浩荡荡向长安杀将而去！李渊是一个老谋深算的政治家，不似当时天下各方起义的贼寇，充满了莽夫之气，四处虏掠。李渊义军一路军纪严明、秋毫无犯。让当时处于混乱兵伐之中的隋朝百姓感受到了李渊义军的与众不同，也为他以后以唐代隋留下好口碑奠定了基础。
不过，李渊在进攻长安的路上也并非一帆风顺，锐不可当。义军行进到霍邑（今山西霍县）时，李渊与隋将宋老生展开了他起义以来的第一次大战斗--霍邑之战。
霍邑地形险要，西北靠汾水，东临霍太山，而且，宋老生手下有精兵两万，非一般隋兵可比。同时，隋廷又派左武侯大将军屈突通统辽东劲兵数万于河东（今山西永济），与宋老生遥为呼应。（《帝国的正午》）当时天降秋雨，道路泥泞，双方无法交战，一直对峙。李渊急着杀到长安，自然比宋老生更为焦急。《旧唐书》、《新唐书》记载：“会久雨粮尽，高祖与裴寂议，且还太原，以图后举。”遇到了困难，想打退堂鼓了。此时，《旧唐书》、《新唐书》中塑造的伟大英明未来领袖李世民出来了，力排众议，向李渊建议义军一定要先入咸阳，才能号令天下。如遇小敌即班师，示敌以弱，随从兵士肯定马上会心乱解体，“众散于前，敌乘于后，死亡须臾而至。”李渊不听，下令催促兵众调头回太原，李世民看此招不灵，便上了哭戏，一番泪如雨下，最终让李渊回心转意，决意攻城。
不过，在塑造李渊英明的《大唐创业起居注》中，温大雅却给出了不同的情形。据温大雅《大唐创业起居注》载，当时是李渊先分析天下形势，而后征求李建成、李世民的意见。兄弟俩皆表示：“（宋）老生轻躁，破之不疑。定业取威，在此一决……雨罢进军，若不杀老生而取霍邑，儿等敢以死谢！”李渊当时闻言而喜，马上表示，“尔谋得之，吾其决矣”，显示出李渊本人也是深思熟虑的，并不是像新旧唐书所载是他想窜回太原。唐太宗李世民的历史编写组为了讨好皇帝，不惜把老子的功劳加载到儿子身上。
前面说到，当时天下意图分一杯羹的势力之中，最强的是李密的瓦岗军。正当李渊决意攻城的时候，李密派人给李渊带了封密信。在信中，李密故意夸夸其谈了一番，大谈“以天下为已任”，表示要与李渊交结合兵，纵横天下。实际上，此信既是试探，也隐含威胁。
比起李渊，李密的伎俩实在是小菜一碟。李渊又运用起了对付突厥可汗的那一招，“卑辞推奖以骄其志，使其不虞于我，得入关，据蒲津而屯水丰，阻崤函而临伊洛，东看群贼鹬蚌之势，吾然后为秦人之渔夫矣”（《大唐创业起居注》卷中）。于是他写信称李密为“当今司牧”，希望他“早膺图箓，以宁兆庶”，讲到自己，则称“老夫年逾知命，愿不及此”（《大唐创业起居注》卷中），极尽谦恭吹捧之能事，使李密得意忘形，从而心甘情愿地为李渊充当“拒东都之兵，守成皋之厄”的角色。
李密被李渊这么一吹捧，顿时飘飘然起来了，从此，集中精力对付洛阳周围的军事势力，李渊就暂时又少了一个危险的对手。同时，由于前面李渊和突厥可汗的密谋效果显著，突厥可汗也同意提供兵马支持李渊，不过，这兵马因为路途遥远，来得忒迟了点，一直到李渊攻克了霍邑，刘文静、康鞘利等人才带来五百突厥大个骑兵和两千多匹好马与李渊在龙门县会合。
“不久，秋雨忽止，天色转晴，太原军粮又及时运到。李渊精神一振，便急着想要跟宋老生大干一场，但他害怕宋老生固守城池，义军人少，贸然攻入，宋老生占据有利地势，又有精兵二万，义军必败无疑。于是，便与手下商量了一招诱敌计。
李渊先率先统左右轻骑数百，先至霍邑城下观察敌情。立营之前，又派李建成、李世民各带数十骑驰至城下，”行视战地“，伪装成想要在城墙附近安营扎寨的态势。宋老生果然中计，亲自率兵出城来迎，分别从东门、南门两道而出。李渊又担心宋老生”背城不肯远斗“，就先下令李建成领左军准备赴东门，命李世民带右军赴南门。同时，李渊又令中军往后小缩，作出怯敌欲退的姿态。”（《帝国的正午》）宋老生自然不及李渊老谋深算，一见李渊军队后退，便乘势迫击，意图一举击破。他远离城门口，直向李渊中军杀来，而当时在帅旗下面马上高坐的根本不是李渊，而是李渊部将殷开山。义军与宋老生主力中军展开厮杀。
李渊利用中军牵扯住隋军主力，然后，派遣李建成、李世民两人领骑兵忽然从左右杀出，分别杀向霍邑东门和南门。“义兵齐呼而前，红尘暗合。鼓未及动，锋刃乱交，响若山崩，城楼皆振。”
本来隋军的战斗力强过义军，但是，隋军主力远离城池，隋军军士发现李氏兄弟带领的义军突击霍邑，就心慌意乱了。没多久，李渊又让军士鼓噪，高呼“宋老生已经被杀”，隋军闻知大将被杀，全都乱了手脚，无头苍蝇一样左突右撞，溃不成军，“舍仗而走，争奔所出之门”，但两个城门的进路均为李建成、李世民兄弟率精兵堵住，迎头射箭，刀砍矛捅，死伤无数。
宋老生也在败兵之中被杀，李渊命兵士把宋老生的首级挑在长矛上，在战场上驰骋示众。隋军见主帅已亡，军心大乱。义军势不可挡，迅速攻破了霍邑。
之后，李渊安民慰众，招遣降兵，对被俘的隋兵隋将一律优待，“还取其同胞同党，自相统处之，不为疑异。”愿意回家的士兵，李渊还“授五品散官放还”，甚至连宋老生也因殉职而被光荣礼葬。这一招委实高明，显示了李渊的宽大仁厚，“自是以后，未归附者，无问乡村堡坞，贤愚贵贱，咸遣书招慰之，无有不至。”
