建德元年（572年）起，武帝多次召见诸军都督及上将官，亲加慰抚，并通过“讲武”、“试以军旅之法”和“教以战阵之法”，严格进行整训。建德三年（574年）十二月，武帝特别下诏：“改诸军军士并为侍官。”这一提高府兵地位的改变，重在表明军队为皇帝所有的属性。此后进行了大规模的扩军“募百姓充之，除其县籍，是后夏人半为兵矣。”宇文泰建府兵制是模仿鲜卑部落兵制将各大派系的兵力统一起来，而武帝则在此基础上，对军队进行国家化改造，而且，还通过大量征召汉人入伍，改变了府兵原来主要为鲜卑武装的特色，把大量坞壁村落等豪族武装吸纳为国家军队，既消化了地方闹独立性的军事基础，又使得鲜卑将领难以把持军队。可以说，武帝对府兵进行了具有里程碑意义的改造，从此，汉人武装作为国家支柱，对政局的演变日益发挥重要作用。
为了加强皇帝的政治领导作用，武帝加强了内史和御正的作用及地位。胡三省说：《周书·申徽传》曰：“御正，任专丝纶”，盖中书舍人之职也。考之《唐六典》，则曰：后周依《周自》，官府置内史中大夫，掌王言，盖比中书监、夸之任，后又增为上大夫。小史下大夫，比中书侍郎之任；小史上士，比中书舍人之任。然则为御正者，亦代言之职，在帝左右，又亲密于中书。皇帝亲掌政权，这两类官员作为重大决策的参加者和皇帝诏令的起草传递者，就具有很大的权威。这样，中央集权化过程就是实质性的汉化过程，就是汉人日益主导政治的过程。
不仅如此，武帝自登基以来，就注意教育文治。保定三年（563年），他幸太学，尊崇于谨为三老；天和元年（566年），亲自在正武殿向群臣讲解《礼记》；次年，立露门学，三年，“集百僚及沙门、道士等亲讲《礼记》”，其以儒家思想统一意识形态的倾向已经清楚表现出来了。诛宇文护之后，武帝集中群臣、沙门、道士等讨论三教之先后秩序，规定以儒教为先，道教为次，佛教为后；到了建德三年（573年），甚至“初断佛、道二教，经像悉毁，罢沙门、道士，并令还民。并禁诸淫祀，礼典所水载者，尽除之。”我们知道，南北朝时代，佛教极为盛行，北周武将中也有许多人崇信佛教。现在，武帝要把他们统一到儒家思想上来，确立君臣等级秩序，用统一的意识形态来确保中央集权体制。于此同样表现出由外来思想向中原传统文化的回归。因此，武帝的中央集权化措施，是在北周民族融合的基础上，具有根本意义的汉化运动，至此，数百年分裂混战慢慢趋向统一。
杨坚在家里密切注视朝廷的动向。武帝的一系列人事安排，虽然突出了重用宇文氏以加强皇权的特点，但也十分注意吸收各方面的人才，改变宇文护任人唯亲的政策，尊重元老重臣，增进内部团结。
建德四年（575年），北周经过一番整顿，实力大增，呈现出一派朝气蓬勃的景象，开始了统一中国的宏伟事业。
建德四年（575年）7月，武帝调集18万大军，浩浩荡荡从关中出发，进逼中原，直接挺进到北齐属地河阴（今河南省洛阳市北），北周迈向了统一中国的第一步。在这次重要的征讨中，武帝还准备了3万水军，组织成偏师，任务是随时支持主力部队。偏师的主帅为35岁的杨坚。多少年了，杨坚第一次被重用，也是第一次获得统兵的权力，他非常珍惜这次来之不易的重任，下定决心一定要出色完成任务，以此来换得更好的机会。这次战役显示了杨坚卓越的军事才华。
杨坚率水军经渭水越过黄河，向北齐腹地挺进。北周军队斗志昂扬，水陆并进，船骑同行，攻城陷地，所向披靡，北齐军队措手不及，被打得落花流水，一败再败。北周将士们越战越勇，想一举攻下洛阳。
北齐在洛阳驻扎精兵，城墙坚固，周军遭到齐军的负隅顽抗，死伤无数。勇敢的周军踏着同伴的尸首，向城头攀登，想攻进城去。可是，北齐军站在高高的城头上向周军射箭、扔滚木，使得周军寸步难行。想尽快攻下洛阳绝非易事，双方大战三天三夜，北周好不容易夺得了一块立足之地，旋即又被北齐军的增援部队夺回去，周军遭受重创。恰在此时，北齐右丞相高阿那肱率二十万精兵从东，北、南三个方向进逼周军，先头骑兵眼看就要赶过来。
周武帝由于连日操劳，再加上急火攻心，病倒在营帐里，军队不得不暂时撤退。
大队人马在前头掩护周武帝撤退，留下杨坚的三万舟师断后。众将极为紧张，大家心里都在嘀咕：如果被北齐军追上，区区的三万舟师怎么能战胜对方的二十万大军呢？到时候岂不是羊入虎口？这时候，杨坚毫无慌乱之感，他与诸将商量道：我们的三万舟师，来的时候是坐船东进的，如果再乘船返回关中，就属于逆流而返，如果天公不作美，或者遭遇齐军袭击就惨了，为了避免麻烦，大队人马回到陆地上步行撤退。
众将点头称是。临撤退前，杨坚令士卒把大船小舟一律点火焚烧。在满河的冲天大火中，杨坚率兵登上陆地向西撤退。不日，杨坚三万士卒悉数返回。
建德五年（576年）十月，周武帝再次统率六军东进伐齐，随国公杨坚被委任为右三军总管，会同诸军，一举攻克北齐发祥地晋州（今山西省临汾市）。这时，荒淫的齐后主亲自来援，周武帝根据事先制定的打援战略，留梁士彦带一万人坚守晋州，自己则率大军退入关中。齐后主带着心爱的冯淑妃来到阵前，指挥大军猛攻晋州。齐军挖地道，攻破城墙，冯淑妃却令军队等她梳妆完毕再进攻，好让她亲眼目睹大军入城的雄壮场面。可是，等她打扮好时，周军也已经把缺口给堵上了。就这样，反复争夺，晋州始终段有被攻下。这时，回到关中的周武帝见齐军已经疲惫，又率八万主力，再出晋州，与齐军全力决战。
齐后主携冯淑妃上阵观战，见到东路军稍却，便吓得落荒而逃，造成军心大乱，全线崩溃。齐后主逃到晋阳，惊魂未定，又继续出逃，打算北投突厥，半道被部下叩马死谏，才转回邺都（今河北省临漳县西南邺镇），招兵买马，准备再战。部下劝他亲临部队慰劳，并替他拟好慰问辞。齐后主到阵前，竟然忘记致辞，只觉得眼前这些将士十分滑稽，不由得哈哈大笑，左右随从也跟着笑将起来，大大泄了士气。到了年底，周军攻克北齐重镇晋阳。消息传来，齐后主，六神无主。翌年正月，他赶忙禅位给八岁的皇太子，自称太上皇帝，随后即携幼帝出奔济州（今山东省茌平县西南）。到这里，他又让幼帝把皇位禅让任城王高谐，继续出逃，企图从青州逃往南陈，谁料周军闪电般追踪而至，齐后主和幼主都成了俘虏。
受齐幼主禅位的任城王高谐有勇有谋，甚得军心，在冀州招聚兵马，且夕之间，就募得四万余人，倒也不容小觑。所以，周武帝赶忙派出齐王宪和杨坚率领的主力部队，前往镇压。齐王宪和杨坚乘北齐亡国之势，不给敌人喘息的机会，迅速包围冀州。建德六年（公元577年）二月，任城王高谐于冀州拥兵南下，周武帝派上柱国、齐王宇文宪与柱国，随国公杨坚率军讨平之，俘任城王高谐，北齐灭亡。北齐50州、162郡、380县尽并入北周版图，共3302000户，人口20006000人。灭齐之战，杨坚总算获得领兵打仗的机会，并在战争中表现出军事才能，崭露头角。
杨坚与宇文宪攻克冀州，为了表彰他的功勋，建德六年（577年）二月，杨坚被委任为定州（今河北定县）总管，不久又转任亳州（今安徽亳县）总管。
定州是河北的军事要地，杨坚获此重任，喜出望外，他盘算着如何在这里经营自己的势力。恰好他的政治盟友庞晃也被派到毗邻的常山郡（今河北省正定县南）当太守，两人过从甚密，共谋大计。就在杨坚踌躇满志的时候，对他颇为不利的事情也悄悄地发生。武帝从宇文护手中夺回政权，依靠的是他的贴身侍从。因此，他掌权之后，一直在尽力提高中央集权，加强皇族的权力与地位，表面上固然尊重元老，但实际上对他们颇有戒心。换言之，北周的中央集权体制是宇文护建立起来的，武帝只是从宇文护手中夺得政权，他并不是个强势皇帝，弱势地位促使他格外警惕出现新的权臣。杨坚为元勋后代，且在第二代子弟中颇具影响，因此，很快就引起武帝身边重臣的警觉。
早在建德四年（575年）五月，也就是杨坚成为太子岳父的第二年，齐王宪就向武帝进言：“普六茹坚相貌非常，臣每见之，不觉自失。恐非人下，请早除之。”听了这话，武帝不能不起疑心，他秘密将术士来和召到宫中，询问杨坚的相貌。来和与杨坚早有交往，而且，如此重要的问题，出言不慎，后果难测。所以，他非常机灵地回答道：“隋公止是守节人，可镇一方。若为将领，阵无不破。”一出宫，来和马上把以上问答告诉杨坚，杨坚感激不已，发誓决不会忘记来和的恩德。而武帝听了来和的话后多少有些安心，回头告诉齐王宪，说杨坚最多只能当个将军，不必多疑。然而，事情并没有那么简单就过去，特别是和继承人的问题纠缠在一起，就愈加复杂。
建德五年（576年），内史王轨不顾个人利害得失，向武帝直言：“皇太子非社稷士，普六茹坚貌有反相。”武帝再次询问来和，来和既然已经为杨坚说话，当然不会再改口，便回答说：“是节臣，更无异相。”武帝也抓不到杨坚有什么把柄，只好对王轨说道：“必天命有在，将若之何？”当然，武帝心中必然对杨坚深加警惕。
同年十二月二十九日，下令将上任不久的杨坚调往南方，改任南兖州（今安徽省亳州市）总管。当时，北周尚未考虑对南朝用兵，故南兖州的重要性大大不如定州，所以，杨坚接到调令，自然知道是什么意思，庞晃借送行之名，前来与杨坚密谈，这位有勇无谋的武夫当时就想起兵作乱，他杀气腾腾地说道：“燕、代精兵之处，今若动众，天下不足图也。”可是，已近不惑之年的杨坚更能沉得住气，他知道武帝的声望如日中天，自己绝非对手，所以他紧紧握着庞晃的手。森然说道：“时未可也。”然后就悻悻上路，把怒火埋在胸中，待时而动。
