武汉中央军校改名为第二方面军教导团后，团内还有100多名没有暴露身份的共产党员。全团编成三个营，以及炮、工、辎重、警卫各一连，另有一个女生队。原军校女生大队300多名同学在改编时，被迫遣散。但是，游曦、郑梅仙、骆英豪、曾宪植等30几个人坚持不走，被编入教导团。另外，还有以崔庸健为首的朝鲜学生100多人。团长由原第二方面军参谋长谢膺白兼任。全团的教育、行政，均由国民党党部领导，而这个党部实际上为中共地下组织所掌握，团党部执行委员和各连（队）党部执行委员，多是中共地下党员。尽管如此，由于当时全国革命局势处在剧烈变动之中，学员们思想动荡，惴惴不安。
7月31日晚，教导团根据张发奎命令，出发“东征讨蒋”。
教导团在赴南昌途中受阻，直到8月4日全团才乘船赶到九江。这时，张发奎突然下令缴械、“清党”。在这种情况下，已经暴露身份的陈毅连夜召集中共地下组织会议，决定：除秘密党员留下外，已暴露身份的党员迅速转移。陈毅带特务连长萧劲奔赴南昌。不少学员怕遭到国民党反动派的屠杀，又感到南昌起义已经失败，前途渺茫，于是，纷纷离队。
叶剑英把这一切看在眼里。他深知教导团是中共组织所能掌握的一支武装力量，无论如何不能叫敌人吃掉了，也不能叫它自己垮掉了，要想尽一切办法把它保存下来，交给党使用。于是，他寻找机会，几次来到教导团，找教员和学员们谈话，做了许多鼓励工作。
一天，叶剑英见到团长谢膺白，谈起教导团的问题。谢膺白满腹牢骚地说：“这个教导团不好管，我早就不想兼这个团长了。”叶剑英赶忙说：“你不当教导团长我来当，怎么样？”谢同意后，叶剑英就去找张发奎。张此时正在为教导团的事大伤脑筋。他明知教导团训练有素，能打仗，是难得的队伍，但又怕管教不好，出乱子。叶剑英摸透了他的矛盾心理，就劝他留下教导团，稳住军心，日后好派用场，并且告诉他谢膺白不想再兼团长，自己愿意去接替，来了个“毛遂自荐”。张发奎满口答应。
叶剑英在第四军中享有“儒将”的盛名。教导团的官兵听说有这位北伐将领来当团长，都表示欢迎。他到教导团上任后的第一件事就是体察下情。当他了解到在学员中仍然存在动荡不安的情绪时，就召开大小会议，耐心地进行劝导工作，同时召见特务连长等交谈，叮嘱带好部队。叶剑英和同学们站在平等的地位，语重心长地说，你们都是有志革命的青年，这次从武汉出发，经过长途跋涉，经历了很多难关，总算闯过来了。从斗争中长了见识，这是无价之宝。他引导大家正确认识革命前途，要求大家在国家处在外忧内患、四分五裂的形势下开辟革命道路。他说，革命任重道远，有时顺当，有时受挫，不可能一帆风顺。但是，应当记着，困难是可以克服的，出路总是有的。他每次讲话，总是鼓励大家努力练武修文，成为真正的革命军人，奋勇向前。
叶剑英这些话，字字句句嵌入学员们的心坎，使他们拨开云雾，看到光明，浮动的人心开始稳定下来。已经走散的学生纷纷来归。教导团重新集合起2000余人。接着，叶剑英又向张发奎要回部分枪支、弹药，将全团重新武装起来，稍事整顿，即随第四军开赴南昌。
教导团进抵南昌后，江西军阀朱培德又横生枝节，向张发奎提出解除教导团武装，肃清共党分子的无理要求。身为教导团长的叶剑英，挺身而出，仗义维护。他首先面见张发奎，提出将第二方面军军官教导团改名为第四军教导团，直接并入第四军建制，加强整顿管束，以缩小攻击目标，缓和与朱培德的矛盾。张发奎欣然同意。接着，叶剑英又向朱培德透露，教导团经过整肃、清党，不会在南昌闹事。朱培德权衡利害，终于未敢下手。
就是这样，在短短一个月的时间里，多灾多难的教导团从武汉到南昌，从军校改编到归属第四军建制，二次易名，多次受挫，遭到唐生智、朱培德的暗算和攻击。但是，在共产党组织和叶剑英的关照下，经过全体革命师生的斗争，终于闯过来了。叶剑英费尽心血为党保留下了这支革命武装。
这一年，叶剑英与教导团女战士曾宪植结婚。
四率教导团南下广东
8月中旬，第四军冒暑南进。叶剑英离开军部，亲自率领教导团沿着赣江南下，开始了千里跋涉。他命令放慢行军速度，以便与南昌起义的队伍保持距离。由于叶剑英在教导团出发前制定了严格的规章制度，因此一路上，部队井然有序，纪律严明。
长途行军极为艰苦。南方炎夏的天气忽晴忽雨，山区的道路崎岖泥泞。许多学员跋山涉水，已属不易，再加上处处要提防反动军队的攻击和土匪、地主武装的袭扰，时常忍饥挨饿，露宿野外，渐渐地支持不住，累倒了，掉队了。有的产生苦闷情绪，甚至发牢骚。队伍里时不时有人哼起“断肠人在天涯”的小调。
叶剑英看到这种情况，把坐骑让给走不动的学员轮流骑，而自己坚持步行，边走边做工作。他鼓励大家说：“干革命可不是简单的事啊！会遇到许多困难，吃很多苦，要咬紧牙关，才能渡过难关！”
叶剑英不仅坚持徒步行军，与大家同甘共苦，而且要日夜操持全团的军务和生活，事无巨细，都要亲自过问。他每天都要派人侦察敌情和行军路线，亲自调查社情和民情，制定颁发行军命令。团部油印的“逐日行军令”，对于行军序列、时间、路线、行程、途中大小休息地点、宿营地等等，都规定得十分详尽准确，后面还带有附图，使人一目了然。行军途中，他经常召集军官在山林树丛中开会，研究部队教育以及露营、野炊、救护等问题。他还向一些连排长讲古代名将韩信、岳飞等带兵、作战的故事，启发部属要“自学成才”、“学战于战”。团里有两位营长是保定军校出身的老军官，经验多，他就注意多发挥他们的作用。他还特别关心团里的朝鲜族学生，行军途中向他们学日语，询问并解决他们的特殊困难。
就这样，在教导团千里行军中，叶剑英把行军路途变成课堂，利用时间，进行政治教育与军事训练，为党精心培育这支武装力量。
还在叶剑英率教导团南下之前，中共中央在武汉召开了“八七”会议。会议总结了大革命失败的经验教训，彻底结束了陈独秀右倾投降主义在中央的统治，确定了土地革命和武装反抗国民党反动派的总方针。
8月下旬，叶剑英利用队伍在吉安小驻的机会，对前一段的行军进行检查总结。在总结会上，叶剑英向革命师生作了一次重要讲话。告诉大家准备打回广州，积蓄力量，举行第二次北伐，打倒新旧军阀，建立新中国！
9月，教导团到达万安。一天夜里，在这个水乡小镇上，教导团里的中共党委举行会议，邀请叶剑英列席。这是他入党以后第一次公开参加党的会议。会议在一所隐蔽的小屋里紧张地进行着，党委书记唐维主持会议。当讨论到下一步革命行动时，委员王侃予和李人一提出了在万安举行暴动的主张。叶剑英分析当时面临的形势，提出了否定意见，劝说大家不要在万安暴动，要插到广州，到敌人的心脏里暴动。对这件事，叶剑英回忆说：“队伍开到万安，有一天，团党委书记唐维告诉我：今天团党委开会，请你参加。我是共产党员了，能参加党的会议，感到很高兴。会上讲到许志锐的二十六师从后方运来一大批物资，有好几十条船的弹药和军需品。有好几位同志提出要在万安暴动，把这些武器、弹药夺过来。唐维一时拿不定主意，征求我的意见。我考虑到，在万安暴动意义不大，且不说不易成功，即使成功了，以后向哪里去呢？”叶剑英耐心地给大家谈形势，分析当时的敌我力量对比和地理条件，极力主张去广州搞暴动。他说：“跟在人家屁股后面搞，意义不大，真正的革命者要到敌人心脏里去暴动！”党委采纳了叶剑英的意见，放弃在万安暴动的想法。教导团继续南下，向广东南雄开进。
叶剑英提出的“到敌人心脏里暴动”的主张，同当时中共中央和广东省委的设想是基本一致的，也符合实际情况。当时南昌起义军已经南下，在万安暴动孤立无援，没有胜利把握。如果前面敌军回头反咬一口，两面一夹击，教导团肯定失败。而到广州去，那里是北伐的策源地，党刚刚举行过省港大罢工，群众基础雄厚。广州是全国著名的大城市，毗邻港澳，又是帝国主义和封建势力的老巢，如果在那里举行暴动，在中外会造成很大影响。更重要的是，南昌起义军已先去广东。教导团到了广州，举行起义，可以同他们携起手来，内外策应，胜可以守，败可以走。只要准备充分，指挥得力，成功是有希望的。叶剑英“到敌人心脏里暴动”的思想，显示了一个坚定的共产党人在国民党反动派的白色恐怖下不屈不挠的斗争精神。
不久，叶剑英率教导团进驻广东南雄。叶剑英向教导团内的中共组织建议，为了准备广州暴动，他先去广州，教导团再跟上来。党组织同意后，叶剑英召开全团军官会议，要求各营连继续抓紧训练，整顿军纪，并指示各伙食单位的经济委员清查公布账目，改善部队生活，防止贪污行为。他语重心长地对大家说：“教导团是军官教导团，是培养军事人才的，我们要挑起革命重担，在第四军内外作表率。”
叶剑英先行赴穗后不久，教导团经韶关抵达花县。部队驻扎在花县新街进行整训。叶剑英精心培育的教导团不久之后成了广州起义的主力军。叶剑英后来回忆说：“教导团是很好的队伍。如果调到部队，一个兵就可以当个连长。后来我到江西时，毛主席知遭了教导团的情况后，也说：‘哎呀，太可惜了！一千多人，要是到这里来了就好了。’”
