上海沦陷之后，陈诚被蒋介石召至南京，商讨守南京问题。陈诚问：“是否叫我守？”
蒋介石回答不是。陈诚又问：“如不叫我守，则我不主张守南京。”后经陈诚、何应钦、德国顾问等研究，提出不能坚守的原因后，蒋介石遂决定不守，命陈诚即赴皖南部署。后来，蒋介石幻想《九国公约》签字国出面干涉日本对华侵略，部队刚刚开始撤离，又做出“以主力守南京，以一部退皖南”的处置，复令部队返回原阵地坚守，归南京卫戍司令长官唐生智指挥。结果造成战斗秩序混乱，敌人乘胜追击，12日，南京失陷。
南京失守后，国民党的军政领导机关大部分迁移武汉。这年春，成立武汉卫戍总司令部，陈诚任总司令。同时他还兼任军委会总政治部部长、湖北省主席、航空委员会委员、中央训练委员会主任委员、三民主义青年团中央团部书记长、中央训练团教育长等职。国民党内部称他是“委员长的替身”、“第二号人物”。武汉的外国记者因其身材矮小，又唯蒋是从，给他起了个有趣的绰号，叫“大元帅的袖珍本”。
陈诚对蒋介石奉之神明，无论公私场合，对蒋都推崇备至。说来也怪，他不仅性格如同蒋介石，后来连走路姿势、说话语调，甚至生活细节上也成了“小委员长”：不喝茶、不抽烟、不吃大荤。他在作报告时，一提到“委员长”三个字，总要肃然立正，将那特制的高底深筒带有铜扣的皮靴碰得脆响。台上立正，台下听报告的均得跟着立正。往往在一场报告中，他要多次提到“委员长”，这样，台上台下就会不断发出“咔、咔”的碰鞋声。每当他带人进入自己办公室时，一见到蒋介石像，也要立即行注目礼。他在接电话时也养成了一种习惯。只要是蒋介石来的电话，他总是马上肃立恭听。所以，人们只要从他立正听电话的姿势中便可知是在与蒋通话。
对一般国民党元老和军政前辈，他也不敢怠慢。行文总是以字称公，如对程潜称颂公，对李宗仁称德公；对文职大员学者名流尊敬和蔼，行文以字称先生，如对孔祥熙称庸之先生，对胡适称适之先生，且多次叮嘱部下，对各界社会名流要格外礼遇，以免招致物议。对于各军将领，年长者称公，同辈者称兄，只是对下属却常发脾气。另外对能与自己抗衡的同僚比较刻薄，常加指责刁难。何应钦便是突出的一例。
这自然与蒋介石的偏向有关。蒋认为何不仅“功高德重”，难以驾驭，而且何是西南人。而蒋的劲敌李宗仁、李济深、张发奎、陈铭枢、余汉谋等都是西南反蒋集团的主要成员。因此，蒋尤其顾虑西南人权势过重，时刻都注意何应钦的行动和态度，生怕一旦造成一个何系，将无法收拾。所以蒋便时时提拔陈诚，以对抗何应钦的势力。
蒋对何、陈的做法，不仅使蒋何之间的矛盾逐步扩大，而且何陈之间也更是日渐形同水火，明攻暗斗，愈演愈烈。凡是与何应钦有关系的人，只要碰上陈的马头，就会被陈千方百计撤换。就在这一年，一四○师师长宋思一因是何的人，刚编入陈诚的序列，进入湖南战地，陈诚就无缘无故地向宋的军团长李延年说：“将第一四○师解散，编入其他部队。”因李不赞成而未果。以后在战斗中，他又将宋调离师职，另派他的人接替。
陈诚能成为“第二号人物”，自有些与众不同的地方。凡会带兵、能打仗的人，不论是亲还是疏，他都一样重用。所以，他那庞大军事集团中的将领，虽然主要是黄埔的，但也有不少是保定的、陆大的、日本士官的、云南讲武堂的，还有来自杂牌的行武军官，而且籍贯各异。
用人不疑是陈诚的一个长处。他不轻信谗言，也不容许部下互相攻讦。有的人在他面前进谗，说别人的坏话，他总是当即制止，并告诫说：“他的事有他的上级去管，用不着你来报告。你把自己管好就行了。”
但是陈诚也有为部下护短的毛病。例如，九十四军军长牟庭芳，被人告发在抗战胜利后“接收上海”时，大肆贪污腐化，蒋介石欲制其罪，陈诚便以“牟庭芳在天津病笃”为借口，搪塞过去，不了了之。
陈诚不喜欢搞什么排场，在国民党高级将领中，还算比较廉洁奉公。抗战初期，有一次，他到巴东视察，六战区留守处主任温良发动当地县政府组织欢迎，大摆筵席，满桌海味。陈诚一看便大发雷霆：“怪不得老百姓要骂前方吃紧，后方紧吃，一点也不错。抗战期间，大后方生活那样困难，你们从哪里搞到的海味？一定要彻底追查！”温良因被骂得狗血淋头，后来急得双目失明。
因为陈诚是以十一师、十八军起家的，而“十一”两字可并为土字；“十八”两字可并为木字，所以在国民党军里常将陈诚系称为“土木系”。
实际上，蒋介石容许何应钦与陈诚两大派系并立，是玩弄二臣争宠的手法，并以陈诚抑制何应钦势力的发展，这就更多地使二人结怨。
———到了抗战后期，蒋介石感到何应钦揽权过多，便对何说：“敬之啊，你兼职太多，怕忙不过来吧，还是保举一个人来接替军政部长职务吧。”
何应钦还没转过弯来：“不，我忙得过来，忙得过来。”
当蒋介石第二次提起此事时，何才恍然大悟：蒋意在陈。便对旁人说：“陈诚算个什么东西！我当军长时，他才当连长。要我保个人，我就保墨三！”报告呈上去，蒋介石批了四个字：辞修如何？何应钦纵然心中一百个不愿意，但知蒋意已决，也只好改保陈诚了。
然而这期间，“八大金刚”又发生了许多事……
