1937年11月，张自忠任冯玉祥西北军旧部第59军军长，在誓师会上张自忠对部众痛哭誓言：
“今日回军，除共同杀敌报国外，是和大家一同寻找死的地方。”
中国军队在台儿庄与日军展开激烈巷战。1938年惨烈的台儿庄大战爆发。1938年3月号称日寇“铁军”的板垣师团一路突然进逼，兵临鲁南军事要地临沂城下，以优势兵力围攻守军庞炳勋第40军的5个团。张自忠亲自率部出征，一昼夜强行军180公里以解临沂之围。
14日凌晨，张自忠指挥全军暗渡沂水，向日寇“铁军”的精锐第5师团右侧背发起攻击。他抱定拼死的决心，致电鹿钟麟：
“战而死，虽死犹生；不战而生，虽生亦死。”
面对突如其来的59军，日本第5师团被迫放弃正面攻城，转对张自忠部作战。双方展开混战，59军与日军短兵相接，往来几个回合，几度形成白刃战。
16日，战区认为59军伤亡过重，建议撤退，但张自忠坚持再打一天一夜。他说：
“我军伤亡很大，敌人伤亡也大。敌我双方都在苦撑，战争的胜利，决定于谁能坚持最后5分钟。既然同敌人干上了，我们就要用精神和血肉拼命干一场，不打败敌人誓不罢休！”
16日夜10时，59军向敌发起猛烈攻击，拼杀至17日凌晨4时，59军胜利攻克日军全部主阵地。
18日张、庞两军从东、南、西三面夹击日军，经过三昼夜血战。日寇“铁军”精锐第5师团终被击溃，残敌大部逃窜。有资料记载：“日军以载重汽车运回莒县尸体约一百余车。来不及运回者、就地掩埋者达七八百具。”
此次作战从3月14日一直持续到19日，59军伤亡4482人，其中军官伤亡199人，全军可战之兵仅有1.3万人。成建制战死者有独立26旅678团第2营，113旅226团第6连、第10连，114旅227团第12连。张自忠心情沉重地说：
“多年患难的弟兄们为国家牺牲了，这心里的难过，真比油煎还狠！但我相信，我领导他们走的是一条光明大道，虽死犹荣！军人报国，此其时也！说不定哪天我张自忠也会牺牲在抗日战场上，这是一个军人在国家危难时应尽的责任。”
21日下午，张自忠率59军余下部队冒雨奉令向费县集结，欲威胁进攻日本第10师团左侧背。3月22日晨，59军到达费县县城。不料被张自忠打得一筹莫展的板垣征四郎，突闻张自忠部他调，忙纠集残部、调派援军，向临沂发起猖狂反攻。庞炳勋以疲惫之师孤军应战，只有招架之功，被迫退守临沂以东，并频频发出求援的急电。23日张自忠奉命率59军速返临沂。
刚刚浴血奋战七昼夜的59军官兵都沉浸在对死去战友的怀念之中，心情十分沉重，加之往返奔波，备极辛劳，官兵们对于战区朝令夕改的不当指挥颇有怨言。为安抚军心，鼓舞士气，张自忠亲自到180师训话，张克侠参谋长在日记中写道：
“军长训话时，官兵皆哭，诚亦伤心事也。多少可爱儿女，已血洒疆场矣！”
是日夜晚10时，59军以强行军回返临沂。全军官兵浴血奋战，誓死坚守阵地，极大杀伤了日寇“铁军”。
29日中国援军20军团骑兵团和57军333旅先后到达临沂。30日张自忠下令反攻，日军抵挡不住，师团长坂垣征四郎丢弃了大衣和手杖，落荒逃命，第二次临沂战役胜利结束。
李宗仁致慰张自忠部指出：
“最大收获，就是将板恒、肌谷两师团拟在台儿庄会师计划彻底粉碎。造成台儿庄血战时，肌谷孤军深入为我围歼的契机。”
历经此两次血战，59军伤亡惨重，仅连长就伤亡120名。而日军第5师团从3月3日发起临沂作战，苦战至月底，仍未能越雷池半步，这号称“铁军”的日寇精锐第5师团两次败北，对于日本“铁军”来说，实在是奇耻大辱。板垣征四郎寝食难安，恼羞成怒，几欲自杀。
从这个战役全局来看，临沂是独立于台儿庄方面的另一个主战场，这两次歼敌5000余人的临沂战役本身就是台儿庄战役的有机组成部分，临沂战役的意义远远超出了序幕战和外围战的范围。张自忠因临沂战役的胜利升任第27军团军团长，兼59军军长。1938年10月，张自忠升任第33集团军总司令，后兼第5战区右翼兵团总司令。
