徐达在车道岘大败扩廓帖木儿，李文忠于应昌扫荡故元巢穴，沉重打击了元朝残余势力。但是，爱猷识理答剌在逃离应昌、转道逃至和林后，又在和林即帝位，其部下残余兵力依然不可小觑。他们随时都有可能重整旗鼓，在东起辽东西至甘肃的明朝漫长的北部边境线上找到一个甚至若干个缺口，纵骑南下骚扰掠夺。明朝政府统一北方后，部署在北部沿边地区的驻防官兵训练不足、军事防御体系尚不健全，当时的明朝北部边境地区确实非常需要一个有胆有识、有勇有谋的人前去统筹镇守。也许在明太祖看来，他自己是最合适不过的人选了，可他是明朝的最高统治者，自当坐镇京城，甚至不可能随时亲临远离京城的北部边境地区巡边、指挥作战或者具体操作布防等方面的事宜，于是其时身为明朝武将之首的徐达便成为了明太祖的最佳人选。因此，徐达在洪武三年（1370年）十一月自西北地区班师回京后不到两个月，又被明太祖派出镇守北部边塞。
洪武四年（1371年）正月初三，明太祖为了加强北部边防，命中书右丞相魏国公徐达前往北平负责“操练军马、缮治城池”，同时令济南卫指挥佥事盛熙领兵2000人、济宁左卫指挥房宽和厉达领兵5000人、青州卫指挥佥事周兴领兵4000人、莱州卫指挥同知胡泉领兵3000人、徐州卫指挥佥事李彬领兵2000人随同前往，全部听从徐达调度管束。徐达奉诏出征，不仅仍佩“征虏大将军”印，而且如同统兵外出作战一般，被明太祖赋予“便宜”行事之权。
明初，由于边防的需要，明朝政府在北部边境地区部署了大批驻防官兵，而这些地区道路崎岖、交通运输极为不便，使得守边将士的粮饷及其他物资的运输和补给十分困难。为此，徐达在镇守北平期间，一面训练军队、修缮城池，一面又积极推行移民、屯田之法，力求在保障北部沿边地区、特别是极边地区人民群众生命财产的安全、巩固和加强边防的同时，设法开发和建设边疆，发展和繁荣当地社会经济。
洪武四年（1371年）春天，因顺宁等地百姓“密迩虏境，虽已招集来归，未见安土乐生”，徐达担心他们“久而离散”，于是动用其便宜行事之权，先斩后奏，命令都指挥使潘敬、左傅、高显将顺宁、宜兴州沿边地区居民，共计17274户、93878口，全部迁往北平，让他们“屯戍”该府所辖州县之地，同时派部下曾经驻守顺宁、宜兴一带的将校前去“抚绥安集”这些移民。待一切处理停当以后，徐达将事情上奏朝廷，获得了明太祖的认可。
徐达坐镇北平半年多后，明太祖又因其时山西北接蒙古大漠，极易遭受北元骑兵的骚扰和掠夺，决定将徐达调镇山西，设法巩固和加强当地边防，以抵御外来入侵，保障晋北沿边地区人民生命、财产的安全，稳定当地社会生产和生活秩序。
同时，明太祖许诺：如果山西以西地区需要调兵遣将进行征讨，徐达可以“从便行之”，也就是说徐达可以事先不经请示，见机行事。此外，他还明确规定：驻守太原、蔚州、朔州、大同、东胜州的明朝卫所官军及当地新近收编的鞑靼官军，一律听从徐达调度管束。八月十三日，明太祖因北平、山西驻军人数众多，粮饷运输艰难，又下令有司用白金三十万两、棉布十万匹，就北平、山西附近郡县换取粮米，发给两地驻防将士。
同年十二月，徐达在山西训练军队、修缮城池五个多月后，回到了京城，正式结束了为期近十三个月的北方之行。
扩廓帖木儿逃到和林后，爱猷识理答刺“复任以事”。后来，扩廓帖木儿的权势又日渐膨胀。明朝君臣对此极为关注，担心扩廓帖木儿卷土重来，危害其北部边塞。洪武五年（1372年）正月十七日，明太祖召见魏国公徐达、曹国公李文忠、宋国公冯胜，分别赏赐交趾弓、彤弓，并对他们说：“古者诸侯有四夷之功，则赐之弓矢……”，徐达等知道明太祖心中不忘北元，估计朝廷将会再度兴师北伐。据记载，徐达等在拜辞明太祖后，曾私下谈论其事，都说：“天下甫息肩，得无又有大兴乎？”由此分析，可以发现：一方面徐达等预料到了朝廷可能再次出兵征讨北元；另一方面徐达等很可能对朝廷连年兴师动众征讨北元持有不同的意见。换言之，就是他们并不完全赞同明太祖的做法，内心里认为明朝政权成立不久，自元末以来连遭天灾人祸、挣扎在死亡线上的广大百姓尚未安居乐业，朝廷不宜一再兴兵。但是，徐达身为臣子，加之他对明太祖一向恭谨有加，所以他后来不但没有出面劝阻明太祖，反而顺从明太祖的意愿，主动请战。
洪武五年（1372年）正月二十二日，明太祖在武楼召集朝廷诸将商讨边境事宜，中书省右丞相、魏国公徐达主动请缨，说：“今天下大定，庶民已安，北虏归附者相继，唯王保保出没边境，今复遁居和林，臣愿鼓率将士以剿绝之。”如前所述，明太祖早有征讨扩廓帖木儿之心，而且对出征所需的兵员数量及进军路线等都早有考虑，但是老谋深算的他为了解部下将领们的态度、试探他们有无进取的决心等，却故意说：“彼朔漠一穷寇耳，终当绝灭，但今败亡之众，远处绝漠，以死自卫，困兽犹斗，况穷寇乎？姑置之。”这时，在场的将领们纷纷表示：“王保保狡猾狙诈，使其在，终必为寇，不如取之，永清沙漠。”明太祖见众将领都赞成出兵，便趁机问道：“卿等必欲征之，须兵几何？”徐达自信地回答说：“得兵十万足矣。”明太祖认为兵分三路同时出击，十万兵力不够，于是他以不容争辩的口气道出了自己胸中的计划，说：“兵须十五万，分三道以进。”随即，明太祖仿效洪武三年（1370年）正月北征残元时的办法，任命徐达为征虏大将军，总帅三路兵马，大举讨伐扩廓帖木儿。徐达除充当三路官兵的总指挥外，还亲自统领其中的中路军，东路军和西路军则分别由左副将军曹国公李文忠和征西将军宋国公冯胜具体负责。中、东、西三路，各为五万兵马。明太祖这次调拨给大将军徐达统领的十五万兵力，基本上都是能够在辽阔的沙漠和草原地区作战、适合克制北元军队的骑兵。
正月二十六日，明太祖正式派遣征虏大将军徐达、左副将军李文忠、征西将军冯胜等率军征讨扩廓帖木儿。徐达等临行前，明太祖告诫道：“卿等力请北伐，志气甚锐。然古人有言：‘临事而惧，好谋而成。’今兵出三道：大将军（徐达）由中路出雁门，扬言趋和林，而实迟重，致其来，击之必可破也；左副将军（李文忠）由东路，自居庸（关）出应昌，以掩其不备，必有所获；征西将军（冯胜）由西路，出金兰，取甘肃，以疑其兵，令虏不知所为，乃善计也。卿等宜益思戒慎，不可轻敌。”徐达等受命，即日率军启程。
二月二十七日，明太祖又下诏续调河南卫兵两万人随从征西将军冯胜北征，每人发布2匹以做行军帐幕之用；同时诏令大都督府都督同知何文辉率领山东步骑兵28000人，随同左副将军李文忠出征应昌。
在三路北征官军中，以徐达亲自指挥的中路军进军最为迅速。二月二十九日，大将军徐达率部进入山西。随即，都督蓝玉奉命为前锋，分率兵马先出雁门关。蓝玉兵至野马川时，遇上了一股北元游骑，北元兵不战而逃。蓝玉率部追至乱山，敌军返身迎战，结果被蓝玉所部打得大败。三月二十日，蓝玉等深入到土剌河一带，与扩廓帖木儿所部发生遭遇战。蓝玉率领将士勇往直前，大败敌众，扩廓帖木儿逃走。尔后，扩廓帖木儿又与贺宗哲部联合起来，在岭北地方抗阻徐达所部之师。五月初六，徐达统兵进抵岭北，与北元军队对垒。由于明朝官兵连续作战，得不到休整，将士已感疲惫；加之徐达所部中路军自出征以来连战皆捷，进军颇为顺利，军队中产生了骄傲轻敌情绪，结果在双方激战中，徐达部下明朝官兵惨遭失败，死者多达一万余人。幸亏徐达败而不乱，立即“故垒而收之”，及时敛兵守塞，北元军队也因畏怯徐达“不敢入塞”。但是，在岭北之战两个多月后，即七月二十一日，徐达部下偏将军中山侯汤和等所部官兵又在断头山与北元兵发生激战，遭到失败，明朝骁将平阳左卫指挥同知章存道阵亡。
在徐达所部中路军退守边塞前后，征西将军冯胜、左副将军陈德、右副将军傅友德率领西路军抵达兰州。但是，冯胜没有立即挥师攻打侵占兰州的元军，而是派遣傅友德率五千精锐骑兵为先锋，绕过兰州，扫荡河西走廊一带的驻防元军。不久，傅友德率部逼近西凉州，击败了元将失剌罕部下北元兵。进至永昌，又在忽剌罕口打败元太尉朵儿只巴所部元兵，缴获大批辎重及牛马等牲畜。尔后，傅友德进军至扫林山，与随后赶到的冯胜等所部大军联合向驻守该地的北元军发起猛烈进攻。傅友德亲手射杀了元将平章不花，敌军败逃，西路军将士又追杀敌军四百余人，元太尉锁纳儿加、平章管著等被迫缴械投降。六月初三，冯胜统领大军返抵兰州，元将上都护自知不敌，率所部吏民迎降。平定兰州后，冯胜挥师挺进亦集乃路，元守将卜颜帖木儿举城投降。接着，西路军进抵别笃山口，元岐王朵儿只班逃走，冯胜挥师追击，俘获其平章长加奴等27人。
稍晚于西路军，左副将军李文忠指挥的东路军也在六月二十七日抵达塞外口温（河）地方。驻守该地的元军听到风声后，连夜弃营而逃，东路军缴获了大批被遗弃的牛、马及辎重。李文忠进兵至哈剌莽来，当地蒙古部落大惊溃散。东路军进至胪朐河后，李文忠留部将韩政等守护辎重，命令其他人员减轻行装，每人只携带20天的口粮，兼程西进，直抵土剌河。元将蛮子哈喇章得知消息后，召集部下所有骑兵，东渡土剌河，布阵迎战。李文忠督兵进攻，交战几个回合，敌军稍稍退却。当东路军再推进至阿鲁温河畔时，爱猷识理答剌、扩廓帖木儿等为了确保其统治中心和林的安全，极力增兵抵抗。在激战中，李文忠由于坐骑中了流矢，被迫下马与敌人短兵接战。裨将刘义见状后，奋不顾身地冲到李文忠身边，英勇搏杀围攻敌军，同时用自己的血肉之躯为李文忠遮挡无情刀箭。指挥李荣见情况紧急，也立即将自己的战马让给李文忠，自己另外从北元骑兵那里夺马再战。李文忠脱险后，又策马横槊，指挥军队继续进攻。东路军将士受其鼓舞，都勇猛向前，与敌人展开殊死搏斗，终于大败敌军，俘获敌军人马数以万计。李文忠挥师追至称海，敌军再度集而拒战。李文忠勒兵据险，杀牛以飨将士，同时故意将所获马匹等畜口纵牧于原野之上，装出一副悠闲的样子，以此迷惑敌人。双方如此相持三天后，敌军最终因为怀疑李文忠部设有埋伏，不敢上前进攻，撤兵而去。李文忠也由于部下兵力有限、所带口粮已经无多等，就此回师。
不料，李文忠等在返程时，由于天黑迷了路。几经辗转后，东路军将士随身携带的干粮已被吃尽，连水也被喝光了，许多士兵因此丧生。来到哥儿麻思地方后，李文忠等终于找到了泉水，并因此勉强渡过了难关。七月十四日，李文忠派人将所俘北元官属子孙及军士家属一千八百四十余人押送抵京。
同年十月二十四日，征西将军宋国公冯胜等因北方天气日渐寒冷，先从甘肃班师回到了京城。十一月间，征虏大将军魏国公徐达、左副将军曹国公李文忠也因“塞上苦寒”，在将所部士卒撤驻山西、北平近边地区“以息其劳”后，也奉诏回到了京师。
徐达在洪武五年（1372年）统帅三军征讨北元时虽然一度失利，但是由于元朝残余势力自退入漠北以后，一再遭到徐达等所部明朝官兵的讨伐，损失极其惨重；加之其人力、物力资源日渐匮乏等种种原因，北元政权的衰败已经无可挽回。对明朝政府而言，在徐达所部失利而归后，其北部边患虽然没有出现加重的趋势，北元政权的存在依旧不足以对明朝政权的生存构成严重威胁，但是它的存在以及北元兵断断续续的南下骚扰和掠夺，仍然威胁着明朝北部边境地区广大人民群众生命和财产的安全，扰乱了明朝政府在北边地区的统治秩序，所以北元政权始终是明朝廷的一块心病。不过，明朝廷在经过几次大规模的讨伐之后，也渐渐认识到了彻底消灭处在地域辽阔的沙漠和草原地区的元朝残余势力的难度，而成立不久的明朝政权，政治有待进一步稳定，经济尚待恢复和发展，可谓百废待兴、百业待举，国家的人力、物力等资源也还有限，倘若继续倾其国力对北元大规模用兵，不论战争的结局如何，都必然给自身统治的稳固带来不利的影响。因此，自洪武五年（1372年）出征北元失利后，明太祖更加注重防边，“防御”逐渐取代“进攻”，成为了明朝廷对付北元的主要手段和战略重点，熟谙边情的徐达因此屡奉明太祖之命外出镇守北平。
徐达守镇北塞期间，曾在北平府等地积极推行过屯田之策，但由于屯田面积有限，加之北方气候寒冷、土地较为贫瘠等因素的限制，其屯田收入虽可基本解决北平军府的开支问题，但没有也不可能从根本上满足明朝整个北部沿边地区大批驻军的全部需求，所以明朝政府仍然需要从内地运送大批物资前往北边，以补充军需。
洪武五年（1372年）十二月二十七日，明太祖为了解决北塞驻军粮饷运输问题，下诏制造独辕车，魏国公徐达奉命督率山西、河南两省，造车800辆。与此同时，曹国公李文忠也得令督率北平、山东两地，造车1000辆。
洪武六年（1373年）正月十一日，魏国公徐达奉命率副将军曹国公李文忠等前往山西大同及北平等处，负责训练军队、修缮城池，以加强北部边防；统兵抗击北元南犯之兵，力保北陲无虞。在下达此项命令时，明太祖对徐达等说：“处太平之世，不可忘战；略荒裔之地，不如守边。朕同卿等起布衣，削群雄，定祸乱，统一中原，勤劳累岁，至此无事，可以少休。然念向者创业之难及思古人居安思危之戒，终不敢自宁。山西、北平与胡地相接，犬羊之群变诈百出，仓卒有警，边地即不宁矣。卿等岂能独安乎？今无事之时，正宜往彼练习军士、修葺城池，严为备守，使边境永安，百姓乐业，朝廷无西北之忧，卿等亦可忘怀高枕矣。”徐达等人叩头回答说：“陛下宵旰忧勤，不忘武备，所谓国家有道，守在四夷，臣等敢不恭命！”接着，明太祖告诫徐达等将帅道：“御边之道，固当示以威武，尤必守以持重。来则御之，出则勿追，斯为上策。若专务穷兵，朕所不取。卿等慎之！”再三嘱咐之后，明太祖又郑重其事地亲自祭告太岁、风云、雷雨、岳镇、海渎、钟山等神，称：“前古帝王治世安民，制礼作乐，典百神之祀，动作必合于礼焉。惟朕受天明命，统一海宇，以治安天下，典百神之祀，当力效前王。去岁发将征讨，大兴师旅，于时失亲告祭于神，兹恒慊慊焉。今又令大将军魏国公徐达、副将军曹国公李文忠先至大同、北平等处修理城池、练兵训将，以备边陲。傥胡人来寇，就令统兵力征，以安中国。今师再出，特告神知。”
但是，徐达等出发后不久，明太祖忽然觉得“边守既定，远备劳兵”，又改变主意，派遣使者赶到池河，将徐达等召回了京城，另命吉安侯陆仲亨往代县、都督何文辉往北平带领其众。
洪武六年（1373年）三月十一日，明太祖因得到消息说塞外元骑兵窥伺边境，又有南侵之意，再次诏命魏国公徐达为征虏大将军、曹国公李文忠为左副将军、宋国公冯胜为右副将军、卫国公邓愈为左副副将军、中山侯汤和为右副副将军，统率将士前往山西、北平等处守备边陲。
进入八月后，驻守明朝北部边陲的大将军徐达部下守边将士与南下劫夺的北元骑兵多次交锋，给了入侵者迎头痛击。八月初七，北元兵南寇河州，夜入土门峡，明朝守关千户王才战死，临江侯陈德率兵迎战，将其击败。初八，北元左丞相忽都等率部进驻天池山，并想由此南侵。太原卫指挥使常守道等率兵乘夜攻破其营，阵斩忽都等，俘其将校65人，获牛、驴八十余头，其余敌众仓皇逃走。十四日，临江侯陈德、巩昌侯郭子兴进兵至答剌海子附近，遇上北元兵，将其一举击溃，杀敌六百余人，生擒北元同佥兴都等七百余人，俘获驼、马、牛、羊等牲畜一千余头，余敌四散奔逃。二十二日，大将军徐达来到朔州，下令将其边民迁居内地。
经过徐达及其所部将士的艰苦努力，时至洪武六年（1373年）十月中旬，北元兵已经“稍稍遁迹”，昔日叛明投蒙的边塞“携贰之民亦已入塞”。由于明朝北部边患有所减轻，明太祖在这年的十月十三日遣使谕令大将军徐达、右副将军冯胜“冬尽还京”。同时，考虑到“胡骑（此指北元骑兵）出没不常，边备盖不可撤”，明太祖命左副将军李文忠仍然留驻山西，“训兵养锐以备之”。
事隔不久，由于有消息说扩廓帖木儿将遣使入塞求和，明太祖怀疑其中有诈，唯恐北边有失，加之有术士预言不久将有战事发生，所以他在十月二十七日又遣使传令大将军徐达等说：“近闻王保保欲来求和，必非实意，其步将普贤奴、乃儿不花、魁的斤等各路人马，恐假此来扰我边。须多伏精兵，盛为之备，索其情伪，毋使失计。近术士张铁冠言‘子月有战’，卿等未可即还。凡出入塞上，必常如遇敌，非数千骑不可行也。旷漠中如遇敌，当加慎焉……”因此，刚刚准备还京的徐达又继续留镇北塞。
十一月十五日，徐达等刚从朔州回到代州，就听说扩廓帖木儿兵入犯大同北部，于是又立即与左副将军李文忠、右副将军冯胜率军前往进攻。行至猫儿庄时，遇上大雪，退而扎营于雁踏堡。随后，徐达部下巡逻骑兵抓获了北元平章邓孛罗帖木儿。在审讯中，邓孛罗帖木儿交代说扩廓帖木儿还派了一千名北元骑兵南下进攻怀柔。徐达得到这一消息后，当即派部下裨将率领步骑三千前往掩杀追捕，后来在三角村活捉了北元武平章、康同佥。
闰十一月二十八日，明太祖遣使勒谕大将军徐达等说：“尔诸将屯军塞上，为日颇久，军中动静，王保保安得不知？兵法曰：‘多算胜，少算不胜，况无算乎？’此确论也。近有自军中来者，言王保保部下之卒有盗印诣军门降者，观其来意甚笃，然古之智将谋虑深长，有鬼神不测之机，朕窃为将军虑之。尔所率步骑多王保保部属，当其来降，实迫事势，非出诚心，今随尔往征，其心有不可测，当以诚待之，宜亦以计提防。今王保保力势虽微，然多诈谋，必筹之万全而后动。能不战而屈之，乃为上智，尔其免之！”告诫徐达对来降之扩廓帖木儿部下既要以诚相待，又要小心防范，以防不测。
洪武七年（1374年）二月二十七日，徐达部将临江候陈德率兵在甘肃会宁等处俘获北元元帅秃鲁迷失等97人并其族属及马、牛、羊等，六安侯王志也率兵在山西朔州等处抓获一百余名蒙古人，将其全部遣送至明朝京师。
三月初一，明太祖派使者持敕传令大将军徐达、左副将军李文忠、右副将军冯胜以所部将士分布在山西，北平屯驻，命令六安侯王志、南雄侯赵庸继续留屯山西，营阳侯杨琛、汝南侯梅思祖往屯北平，仍以其他都督府官及指挥、下百户等负责料理应有军务，待诸事安排停当后，大将军徐达就与右副将军冯胜、左副副将军邓愈、右副副将军汤和、巩昌侯郭子兴等回京。
四月初四，徐达部下都督佥事蓝玉、林霁峰率兵攻打兴和。盘踞该城的北元将领脱因帖木儿派遣其国公帖里密赤率兵迎战，双方在白酒泉展开激战。蓝玉等大败敌军，生擒帖里密赤及其官属59人。脱因帖木儿弃城逃走，于是蓝玉所部占领了兴和。初九，左副将军李文忠分别派遣裨将率军至三不剌川，俘虏了北元平章陈安礼；至顺宁杨门，阵斩其将真珠驴；至朔州，又生擒其太尉伯颜不花。四月初十，徐达奏称所部前后俘获北元官属1323人，并招徕河曲府山谷军民共2092户、计5988人，得令将北元官属遣送至京，军民则就近安置于塞内地方。七月初一，左副将军李文忠率部攻打高州大石崖，阵斩北元宗王朵朵失里，余敌败逃。李文忠派遣指挥唐某率军追击，至毡帽山，又与扎营山下的北元鲁王所部对阵。明朝官兵上前搏击，又阵斩鲁王及司徒答海俊、平章把刺、知院忽都，俘虏了鲁王王妃等。八月二十三日，左副将军李文忠又率师至丰州，分道追击北元军队，生擒官员12名，俘虏部众220人，并缴获大批马、驼、牛、羊等牲畜。接着，李文忠因听说北元兵聚屯于伯干儿，再度派兵追击，不及而还。
洪武八年（1375年）二月二十三日，明太祖第三次遣使诏令大将军徐达、左副将军李文忠、右副将军冯胜率济宁侯顾时等回京，其所部官军令颖川侯傅友德、南雄侯赵庸、都督同知何文辉三人共同统领，驻镇北平。三月间，徐达等从北平回到了京师，结束了为期两年的北塞之行。
