蒋介石为了削弱冯玉祥的西北军和其他派系的军事力量，于1929年1月召开编遣会议，确定全国设立8个编遣区，蒋控制4个；规定全国军队的一切权力收归中央；各集团军无权擅自行动和任免军官；各系军队原地待命听候改编。各派系对此种做法极为不满，冯玉祥决心联合晋、桂两系讨伐蒋介石。
在冯玉祥忙于备战倒蒋之时，晋系阎锡山为增加与蒋介石讨价还价的砝码，诱使冯玉祥进入山西，将其软禁。冯失去自由后，委任第二十八军军长宋哲元代行总司令职权。
宋哲元字明轩，1885年生，山东省乐陵县人，早年投奔冯玉祥，是西北军几名最主要的将领之一，也是冯的“五虎上将”之一。冯对宋十分赏识，称赞他“勇猛沉着”，“忠实勤勉”，“遇事不苟”，“练兵有方”，视之若心腹股肱，常委以重任。1922年，宋哲元已是旅长，张自忠则是副营长。因此，宋是张的老长官，对张有很大影响。后来，宋是张的直接领导，对张的影响更大。
宋哲元任代总司令后，任命张自忠为第十一军副军长。兼第二十二师师长。冯治安是这个军的军长，对此项任命，张自忠十分感激宋、冯。因为在此之前，由于形势所迫，张曾短期离开冯系，寄晋系篱下。不久，即主动回到冯部，但冯玉祥没让他回原部队带兵。现在宋、冯授他以兵权，这使他感激不尽。这件事是张自忠后来拥戴宋哲元、力荐冯治安的重要原因。
1930年4月，冯玉祥、阎锡山、李宗仁发表通电，要求蒋介石下野，接着对蒋介石集团开战，各派联合反蒋的中原大战爆发了。
此时，张自忠任第六师师长，奉命率部参战，与蒋军的精锐部队教导第二师相遇。张自忠指挥全师，发动猛烈进攻，与蒋军展开近战，使蒋军炮火无法发挥作用。经过反复拼杀，将蒋军击溃。经此一役，蒋军的教导第二师元气大伤。这个师在蒋介石的部队中，编制整齐，拥有当时中国军队最精良的装备，且是德国顾问团精心训练出来的，是蒋介石两个“近卫师”之一。张自忠师将其击溃，足见张部战斗力之强。
战事初期，反蒋联军进展顺利，蒋军处境被动。但由于反蒋联军不统一，矛盾多，被蒋介石分化瓦解，各个击破。更由于东北军首领张学良表态支持蒋介石，使蒋的势力大增，战局急转直下，反蒋联军以失败告终。
这次失败最惨的是冯玉祥的西北军。西北军鼎盛时期，总兵力达40余万人，是全国一支重要的军事力量。这次参加军阀混战，除少量伤亡外，绝大部分被蒋介石收买、瓦解，以致造成灭顶之灾，40万大军所剩无几。冯的“五虎上将”，李鸣钟、张之江早在这次大战前就脱离了冯系，接受了蒋介石的任命；刘郁芬于这次大战后叛冯投蒋，赴南京就任上将总参议；鹿钟麟与冯共进退，与冯同时宣布下野；只有宋哲元率残部退往山西，算是留在军中。
张自忠此时尚有两个旅、一个团，兵力有数千人，是西北军较为完整、兵力最多的一支部队。张也率部进入山西。此后，西北军的残部陆续进入山西，总数约六七万人。由于各部队互不相属，群龙无首，驻地分散，加之粮饷无着，装备残缺，编制不整，所以处境极为艰难。如何收拾残局，整编部队，就成为西北军能否生存下去的当务之急。
进入山西的西北军将领中，以宋哲元的资望最高。此时，冯玉祥已无法掌握部队，宋哲元决心出来收拾残局。
恰在此时，蒋介石决定，将在中原大战反蒋失败的晋军、西北军改编为边防军，由张学良负责改编，并归其节制。张学良确定将西北军残部缩编为一个军，拟由张自忠担任军长。张自忠感到自己的资望不够，就积极拥戴宋哲元出任军长。张一向敬重宋的为人和战功，认为由宋出任军长有利于收拾残局。同时，中原大战前，张在逆境中，曾得到宋的优遇，任命他为师长，授以兵权，因而对宋一直怀有感激之情。
此时，张自忠也想到另一个人——冯治安。在中原大战中，冯治安败得最惨，所部被打散，成了光杆司令，只身到了北平。他曾与张自忠长期合作，换帖结拜为盟兄弟。且在张失意时，伸以援助之手，使张重掌兵权。张自忠不忘往事，知恩图报，积极推荐冯治安任整编后的师长。
1931年1月16日，蒋介石、张学良正式宣布西北军改编为陆军第二十九军，宋哲元任军长，下辖三个师：第三十七师师长冯治安；第三十八师师长张自忠；暂编第二师师长刘汝明。全军共2万余人。从此，西北军的名号消失了，冯玉祥也失去了在中国政治、军事舞台上扮演重要角色的资本。
中原大战葬送了西北军，但第二十九军的诞生，使宋哲元、张自忠、冯治安等人的历史揭开了新的一页，为西北军创造了更辉煌的业绩。
