中国最高军事当局令第五战区集中兵力于徐州附近，准备再次聚歼日军。日军改以部分兵力在正面牵制对方，主力向西迂回，企图从侧后包围徐州，歼灭第五战区主力。4月18日，日军第10、第5师分别从山东峄城（今属枣庄）和临沂西北的义堂地区南进，对守军第2集团军和第20、第3军团及第27军团第59军实施牵制性进攻。守军顽强抗击，至月底，将日军阻止在韩庄、邳县（今邳州）和郯城一线。5月5日，日军开始从南北两个方面向徐州西侧迂回包围。在南面，第9、第13师从蚌埠地区分别沿北淝河、涡河西岸北进，至13日，陷蒙城、永城（属河南）后，向江苏萧县、砀山（今均属安徽）进攻；第3师由蚌埠进入大营集地区，向宿县（今宿州）进攻。在北面，第16师由山东济宁渡运河，至14日，连陷郓城、单县、金乡、鱼台后，向江苏丰县、砀山推进；第14师从河南濮阳南渡黄河，陷山东菏泽、曹县后，直插河南兰封（今兰考）；同时，第10师将韩庄、台儿庄地区的作战交由第114师接替后，在夏镇附近渡过微山湖，向沛县（属江苏）进攻。5月中旬，前方越来越惨烈的战报不断传到武昌国民党军委会蒋介石的案前，徐州突然面临的严重危机，使他那因台儿庄的胜利冲得有点晕乎乎的大脑一下冷静下来。蒋介石突然意识到：日军的意图是要围歼徐州中国军队主力。若徐州那50个精锐师被日军吃掉，我还抗什么战？蒋介石立即叫来何应钦、白崇禧、陈诚等人一块研究策划。日军的企图已经，再死守徐州已不现实，何应钦等人亦主张赶紧突围决定放弃徐州。蒋介石口授给李宗仁的十万火急电令：
第5战区司令长官李宗仁：军委会着令你部力避决战，撤离徐州，火速突围。
一顾祝同第24集团军在苏北，第69军及海军陆战队在鲁中南原地坚持抗战。
二刘汝明第68军为全军后卫，掩护主力转移。
三第5战区其余各部，立即向豫皖边区突围
16日，第五战区命令各部队分别向豫、皖边界山区突围。中国军队且战且退，阵形不乱，按部就班地向西、向南撤退。日军阻一处，中国军队冲一处，无所不破，大军向河南南部及湖北北部集结，各路都相继冲出重围。为避免与优势之敌作消耗战，当各路敌军向徐州步步合围时，李宗仁令所部各路守军，作稍事抵抗后，即相机撤向山区、湖沼地区，进行“化整为零”的游击战，与敌人纠缠了月余。5月18日黄昏，李宗仁与长官部官兵一应人员700余人，乘夜色经宿县、蒙城，越过敌之包围圈移驻潢川。留守徐州城的刘汝明部在萧县一带伏击日军第9师团，对日军造成重大伤亡。日军见中国军队大部已走，企图于徐州城围歼刘汝明部。刘汝明部佯作死守状，及见各路大军撤尽，根据蒋介石的命令，放弃徐州城，巧妙地跳出日军数十万大军的重围，安全转移。敌军不但没有击溃刘汝明部，甚至连一个上尉也没有捉到。日军的华中派遣军的13师团一路杀来，发现李宗仁唱了一出空城计，又令一心想争功的华北方面军大感挫折，日军伤亡了万余人的代价，得到了一座空城。5月下旬，各路大军按命令的路线，全部安全撤抵皖西、豫南地区。日军沿陇海铁路西进，6月6日占领开封。为阻止日军前进，蒋介石9日下令在郑州东北花园口附近炸开黄河大堤，河水经中牟、尉氏沿贾鲁河南泛。日军被迫向黄泛区以东地区撤退。会战结束。
此役，中国军队广大官兵英勇奋战，首先在南线将日军阻止在淮河南岸，打破其与北线日军会合的企图；继而在北线将东路日军击败于临沂地区，又将西路日军之右翼阻止在嘉祥地区，粉碎日军在台儿庄会师的计划。在台儿庄地区作战中，第五战区采取积极防御战法，以一部担任内线防御，另一部置于外线作战，攻防结合，灵活机动，获得大捷。随后，最高军事当局不顾敌强我弱的总体形势，调集大军在徐州附近，企图与日军决战，因而使会战在后期陷于被动。尽管如此，这次会战消耗了日军有生力量，迟滞了日军进攻速度，为部署武汉保卫战赢得了时间。
中方伤亡：1庞炳勋第3军团截至3月26日，庞部已伤亡殆尽，庞炳勋致蒋介石密电称“总计战斗兵，现不满千人”。结合徐祖贻致李宗仁电“庞军兵力损失过巨…已失战斗力”，即便考虑到庞有保存力量夸大伤亡的因素，按庞部战斗兵万人计，亦可约略看出庞部伤亡当在8000人以上。
2张自忠第59军刘景岳和于麟章在回忆文中称，该军在最初三天（3月14、15、16日）的激战中，大量毙伤日军，但自身“伤亡也不下六、七千之多”。顾相贞证实此说，至17日晨，该军统计伤亡人数，“第三十八师自投入临沂战役以来，伤亡近四千人，第一八0师也伤亡了二千余人”。《山东省志.军事志》采信此说，称“至17日，（第59军）伤亡7000余人”。郭汝瑰《中国抗日战争正面战场作战记》一书亦采信此说，称“至17日上午，第59军已伤亡6000余人”。迨至21日临沂战役第一阶段结束，于麟章称“伤毙敌军约六千人…我军伤亡人数也在八千人”，顾相贞称第59军“伤亡官兵近九千人”。第59军战斗详报则证实了此数据，24日，再次增援临沂的第59军在城西北一带集结时，全军可战之兵仅有1.3万人，而该军一战临沂前却有战斗兵员2.1万人，减员8000。
通过下属单位的伤亡也大略看出第59军伤亡之惨重。原第38师第113旅旅长李致远在回忆文中称，仅在1518日的刘家湖战斗中，“第二二八团原有两千余人，损失半数以上；第二二四团也伤亡近半数。”从3月14日至19日，59军成建制战死者计有第26旅第678团第2营，第113旅第226团第6、10连，114旅227团第12连。时任第59军军部参谋处作战科少校参谋的王丕廉在回忆文中称：“经过三昼夜的激烈战斗，我方仅连长就伤亡一百余员，士兵伤亡五分之二”。
考虑到第59军伤亡过重，早在3月16日，徐祖诒即建议该军撤出战斗，转往郯城修整，被张自忠拒绝。
第2次临沂战役后，于麟章称第38师“减员万余人”，张自忠遂决定将该师合并编成一个旅，约千人，归军直接指挥。据180师39旅参谋长杨遇春回忆文称，该旅“只剩下200多人，其余3000余人皆伤亡。”杨作为旅参谋长，提供的本旅战斗伤亡人数数据应该是可信的。
