杨坚的军队乘胜追击，一直追到尉迟迥的老巢相州首府邺城，很快攻破邺城，尉迟迥兵败自杀。
反对杨坚力量最大的尉迟迥被平定了。不久，王谦也兵败被杀，司马消难败逃江南。三方武装反抗全被平定，北方出现了统一的局面。
三方武装叛乱被平定，宇文氏宗室势力被剪除，杨坚已经清除了通往皇帝宝座的一切障碍，他要取代北周，要从小外甥的手中夺取皇位了。
公元581年二月，杨坚派人为周静帝写退位诏书，诏书极力称赞杨坚的功德，希望杨坚按照舜代尧的“禅让”旧例，接受皇帝称号，代周自立。杨坚在再三假意推托之后，才勉强地表示同意接受。于是，9岁的小皇帝宇文阐“自愿”让出皇位，他的外公杨坚则穿自己准备好的皇袍，在百官簇拥下进入宫殿，登上了皇帝的宝座。
杨坚曾被封为随国公、随王，所以就把自己建立的新王朝称“随”。但是又感到“随”字有“走”字偏旁，不合江山万年之意，便改“随”为“隋”。定年号为开皇，仍以长安为都城。于是，一个新的隋王朝便诞生了。公元581年便是隋开皇元年，杨坚就是历史上有名的隋文帝，时年40岁。
隋文帝杨坚，从580年五月总揽北周军政大权开始，到581年称帝为止，其间只有十个多月，就迅速夺取了北周政权，这不是一件偶然的事情。由于各族人民反对北周鲜卑贵族宇文氏的残暴腐朽统治，北周的政权已岌岌可危。杨坚执政以后，既依靠汉族地主阶级，也注意吸收汉化的鲜卑贵族参加，民族关系得到缓和。杨坚还注意进行社会改革，注重发展生产，因而得到了地主阶级的支持和人民群众的好感。因此，北朝长期以来为少数民族贵族统治的政权，终于为以杨坚为首的汉族地主阶级政权所代替。隋王朝的建立，中国的历史开始了新的发展历程。
杨坚代周称帝，虽然打败了北周的宗室和割据势力，统一了北方。但是，在隋王朝的北边，还有突厥不断南下的威胁，南方还存在着两个国家：后梁和陈。整个中国还没有统一。
突厥是兴起于中国北方草原的少数民族，世代居住在金山（今阿尔泰山）之南，以打铁为业。6世纪中叶，在首领阿史那土门的领导下，建立起突厥汗国。以后突厥不断向四方扩张，势力极盛时，东达辽海（今辽河）以西，西至里海（今中亚里海），南自沙漠以北，北到北海（今贝加尔湖）。北周时期，北周、北齐相互对立，他们各送重赂求突厥援助，突厥更加骄横。突厥佗钵可汗曾对臣下说：“我在南边有两个儿子（指北周和北齐），十分孝顺，完全不必担心没有财物使用。”
北周末年，突厥求婚于周王室，北周便以赵王宇文招之女千金公主与之和亲。杨坚代周称帝，突厥沙钵略可汗声称为北周报仇，发动骑兵40多万，大举南侵，攻略今甘肃和陕北一带，屡败隋兵。隋文帝采用大臣长孙晟的建议，利用突厥内部的矛盾，进行分化瓦解工作，然后各个击破。公元582年（隋开皇二年），杨坚派杨弘、高颎等率领大军北击突厥，取得胜利。杨坚又多次征发民夫修筑长城，对北边诸州加强守备，也阻止了突厥的南侵。584年（隋开皇四年），突厥沙钵略可汗遣使到隋朝贡，表示友好，千金公主宇文氏也上表请改姓杨，愿意成为隋文帝的女儿，隋文帝表示同意，改封千金公主为大义公主。其他突厥各部也纷纷向隋求和，隋的北方边患逐渐消除，北方边防渐趋巩固。
对于局促在南方江陵（今湖北江陵）的后梁，杨坚也加紧了并吞的步伐。后梁国家很小，国势很弱，原为西魏、北周的附庸，到梁孝明帝萧岿时，萧岿与文帝关系很好，文帝曾聘萧岿的女儿为晋王杨广之妃，是为萧妃。萧岿死后，后主萧琮继位，587年（隋开皇七年）8月，文帝邀请后梁帝萧琮到长安，萧琮不敢违抗，率后梁文武百官二百余人前往长安，文帝趁机扣住不放，并派崔弘度率大军以助其防守为名开进江陵。不久，下诏废掉梁国，以萧琮为上柱国、莒国公。后梁亡。
这时在南方，就剩下一个陈国。陈国占有东南的半壁江山，有军队10多万人，国都在建康（今江苏南京），据有长江之险，是一个在军事、政治和经济方面都有相当实力的国家。
为了统一江南，隋文帝在建立隋王朝不到一个月，便委派韩擒虎为庐州（今安徽合肥）总管，贺若弼为吴州（治江都，今江苏扬州）总管，做进攻陈朝的准备。
582年，（开皇二年），隋文帝命长孙贺为东南道行军元帅，统率八总管南下攻陈，但因时机不成熟，又适逢陈宣帝死，便以“丧葬期间采取军事行动不符合礼仪规定”为借口，班师回朝。
隋文帝曾经征求宰相高颎平陈的方略，高颍提出了一个办法，即经常派遣小股部队破坏陈朝粮食储备，在经济上搞垮陈朝。高颎指出：“江北气候寒冷，田里的收获较晚，江南气候温暖，水稻早先成熟。算准他们收获的时候，我们暗中征调兵马，声称搞突然袭击，他们一定会屯集兵马进行防守，这样足以耽误他们的农时。待对方已经聚集了兵马，我军便解甲回来，多次使用这办法，让对方习以为常，然后我方再次征集兵马，对方必不会马上相信。在他们犹豫不定之际，我们已渡过长江，登陆作战，有进无退，士气定能倍增。还有，江南土层不厚，房舍多用茅草竹片构成，所有的储积，都不用地窖。我们暗中派人潜入，利用风势放火，烧毁他们的粮仓，等对方重新修复完毕，我们再次去放火烧掉它。不出几年，对方定会财力全空。”文帝采纳了高颎的建议，陈国人开始受困。
在军事上，有大臣分析陈据有长江天险，既有步兵又有水师的特点，建议制造战船，训练水师，杨坚也采纳了建议，命杨素在永安（今四川奉节）制造大小战船几千艘。杨坚对高颎说：“我为一国之君，人民的父母，怎么可以因为隔着一条衣带宽的长江而不前往拯救。”表达了他统一江南的决心。
这时陈朝的统治者为陈后主，陈朝传至后主已历五代。后主陈叔宝是个十分荒淫的君主，他一登上帝位，便大兴土木。为了满足其穷奢极欲，他在光昭殿前筑起临春、结绮、望仙三阁，各高数十丈，连延数十间。三阁的窗户、壁木、栏槛都用沉香或檀香木料制成，并装饰以金玉和珠翠，外悬珠帘，富丽堂皇。阁内还设有宝床宝帐，珍奇玩物之类，瑰奇珍丽，光怪陆离，人间少有。每当微风吹来，帘卷珠动，香闻数里，旭日初升时，则五颜六色，光照后庭。阁下又积石为山，引水为池，山水之间种以奇树异花，非常幽雅美丽。
陈后主特别宠爱张贵妃和龚、孔二贵嫔，尤其是张贵妃，张贵妃名张丽华，有天生一头七尺长发，色黑如漆，光可照物，而且脸若朝霞，富有神采，双眼顾盼，含情脉脉，陈叔宝不离左右。
陈叔宝整天和贵妃们游宴玩乐，制作艳丽的词曲，选宫女千余人表演歌唱，其中乐曲尤以他自己所谱的《玉树后庭花》、《临春乐》最为有名，内容也不过是赞美各位妃嫔的容貌。陈后主荒耽酒色，通宵达旦，所有百官奏事，都由宦官蔡脱儿、李善度进请。陈叔宝将张贵妃抱坐怀中，共决国家军政大事。贵妃干政，宗戚横行，卖官鬻爵，贿赂公行，搞得国政败坏，民众怨声载道。
公元588年（隋开皇八年三月），隋文帝下诏伐陈，又致国书给陈，历数陈后主穷奢极欲，大兴土木，资产枯竭，民不聊生等二十条罪状，命人将诏书抄写三十万分，散发到大江南北。十月，隋文帝在寿春（今安徽寿县）设置淮南行台尚书省为南征总指挥部，任命儿子晋王杨广为行台尚书令，担任最高指挥官。命晋王杨广、秦王杨俊、宗室清河公杨素并为行军元帅。于是，杨广出六合（今安徽六合）、杨俊出襄阳（今湖北襄阳）、杨素出永安、刘仁恩出江陵（今湖北江陵）、王世积出蕲春（今湖北蕲春）、韩擒虎出庐江（今安徽合肥）、贺若弼出广陵（今江苏扬州）、燕荣出东海（今江苏连云港），合计90总管，军队51万8千人，皆受晋王杨广调度。隋军东起东海、西至巴蜀、旌旗舟楫，横亘数千里，大举南下。
在隋军的大举进攻下，陈朝边将，谍报屡至，飞书告急。而陈叔宝依然饮酒作乐，醉生梦死，他从容地对近臣说：“天子之气，一向都在建康，当年齐兵来过三次，周兵也来过两次，都被我们打败，这次隋兵再来，难道就有例外吗？”都官尚书孔范应声大言不惭地说：“长江天堑，自古作为界限隔制南北，今天隋军难道还能飞渡吗？这是沿江诸将想要邀功请赏，而谎报军情紧急。臣常恨官位低，隋军要是渡江而来，那正是我立功升官的好机会，看来我可以建功勋升至太尉公（国家最高军事长官）了！”有人传言隋军的战马死了，孔范叹息道：“这将来是我的马呀，死得可惜！”陈后主听了欣然微笑，表示赞同，一幅绝妙的昏君、佞臣对答图。
589年（隋开皇九年正月），隋将贺若弼利用陈朝君臣沉醉于庆贺新年，防备松懈的时机，从广陵引兵渡江，陈朝将士竟没有发觉，贺若弼乘胜进军，很快占领京口（今江苏镇江），俘虏陈朝徐州刺史等以下6千余人。贺若弼领兵军纪严明，秋毫无犯，有士兵在民间买酒，当即被贺若弼下令处死。隋军还释放俘获的6千陈兵，并发给他们粮食，还将隋文帝的平陈诏书散发给他们，让他们回各地宣传。另一路隋将韩擒虎率领5百士兵，自横江夜渡采石，把喝得酩酊大醉的陈兵全部俘虏。韩擒虎率兵过江之后，稍加休整，便进攻姑熟（今安徽当涂县境），仅用半天时间便一举攻克。接着，贺若弼自东北、韩擒虎自西南，南北夹攻，直逼建康。
当时建康的陈朝守军尚有10余万，陈叔宝却早已六神无主，日夜啼哭，并把军国大事都委托给佞臣施文庆。施文庆知道陈朝将领痛恨自己误国害民，又怕这些将领有立功的机会，便把将领们给陈后主的表奏都扣压下来，不采纳他们的建议。当隋兵已至建康城外时，陈朝将领认为只能固守待变，等各地增援部队来再里外夹攻，即可破敌。陈后主却突发奇想要主动出击，一决雌雄。他命令将军鲁广达进入白土岗，与隋军贺若弼面对面摆开阵势，又命令任忠、樊毅、孔范、萧摩诃等将军率领兵马，与鲁广达一起自南向北摆成20里的一字长蛇阵，抗拒隋军。这种兵力部署不仅不能对隋军造成威胁，反而使自己陷入首尾不能相顾的不利境地。贺若弼抓住陈军弱部，径取孔范。孔范的军队刚一交锋，转身便走，陈朝各军见状，纷纷溃退，无法制止，隋军终于大破陈兵，萧摩诃被俘。
陈将任忠原主张固守，现在看到兵败不可收拾，便向陈后主报告失败情况，他悲痛地说：“我已经无能为力了！”说完就往石子冈，向隋将韩擒虎投降。韩擒虎兵不血刃，在降将任忠的向导下，率军直入建康朱雀门。陈朝守军想抵抗，任忠挥手说：“老夫都投降了，你们抵抗有什么用！”陈朝士兵见此情况，纷纷散去。
隋军喊声震天，迅速进入皇城，陈叔宝心慌意乱，急于躲藏。陈朝尚书仆射袁宪建议陈叔宝整齐衣冠，登上金銮宝殿来见隋将。陈叔宝不接受，他说：“刀口底下，切不可乱试运气，我自有妙计。”陈叔宝的“妙计”就是躲起来。他带了十几个宫女宦官，来到后宫景阳殿，躲入一口枯井中。
隋军进入后宫搜索，到处找不到陈叔宝，当他们发现井边有异样情况时，便俯在井口呼叫陈叔宝的名字，没有人回答。隋军便扬言要往井中扔石头，这才听到陈叔宝的惊叫。隋军士兵抛下绳子往上拉他，觉得特别沉重，正在为陈叔宝的超级体重感到惊奇时，却发现一绳拉上三个人，原来陈叔宝和张贵妃、孔贵嫔三个绑在了一起。
隋军占领建康后，又派军占领南方陈地。岭南地方首领冼夫人是南朝梁高梁（今广东阳江西）太守冯宝的寡妻，她统辖部落十余万家，很有实力。隋军统帅晋王杨广命陈叔宝致书冼夫人，告诉她说陈朝已亡，劝其归隋。冼夫人深明大义，派人迎接隋使入广州，岭南诸郡皆定，冼夫人为国家的统一作出了贡献，隋册封她为宋康郡夫人。至此，陈境皆平，中国重归统一。
隋平陈，隋王朝取得了南方的30个州，100个郡，400个县，增加户口200万人。隋平陈统一南方，结束了自东晋十六国以来270多年的分裂割据局面，为社会经济和文化的发展提供了前提，中国历史进入了一个统一、安定、繁荣的新阶段。
