1950年3月16日，军委命令黄永胜正式任第十三兵团司令员，同时任命吴法宪任兵团政委。1950年5月，根据中央军委命令，十三兵团免兼广西军区。5月，他与兵团政治部主任杜平带领兵团机关3名干部，北上郑州驻扎。就这样，5个人顶着十三兵团机关的名义，负责领率陆续进驻河南的第38、39、40军，统领全国战略预备部队。
7月，突然爆发的朝鲜战争迫使中国不得不做好一切准备。驻守中原大地的十三兵团三个军，是可以最快投入作战准备的战略机动集群。但此时，十三兵团部队满编，兵强马壮，却没有健全的指挥机关。原因是黄永胜、杜平受命北上郑州时，广西的剿匪任务十分繁重，因第一期剿匪不利，已经引致军委和******的高度重视。为很好地完成中央交给广西军区的剿匪任务，十三兵团机关基本全留在广西，成为广西军区的指挥机关。黄永胜和杜平他们身边只有一个3名干部的小班子。一到郑州，按中南军区的指示，黄永胜和杜平就四处招人调干部。虽然这时原十三兵团机关的部分人员陆续到达郑州，但离一个健全的兵团部编制还缺额很大，新招调的干部也没来几名，要磨合成一支精干高效的兵团级指挥机关，那更是还差得天远地远。这样缺编的兵团机关，当然无法承担面临的作战任务，更不用说还可能是出国对美作战的任务。军委于当年7月，遂决定以驻广东的第十五兵团机关改称第十三兵团，同时第十三兵团改称第十五兵团。由邓华率领改称后的原十五兵团机关，领导十三兵团下属的第38、39、40军3个军，开赴东北准备应对朝鲜战争；这个兵团机关在入朝后，随即成为志愿军司令部机关的构架。
黄永胜没有捞到去朝鲜跟美国佬大打特打的机会，而且这个机会就在他眼前，他当然唏嘘叹气。不过他又分析了一番：广西军区和十三兵团基本是一套班子，两块牌子。若十三兵团机关全带走了，让李天佑他们用个空架子去领导匪情那么复杂严重的剿匪作战，军委不会同意，中南军区****也不会同意。连他自己也不会同意。这样，十三兵团机关缺编严重，只说兵团主要领导人，李天佑、莫文哗留在广西，彭明治调去北京，吴法宪、曾国华调到空军，就自己与杜平唱戏，显然承担不了这么大一个战略任务。同时四野的十二兵团机关又去北京变成了军委海军机关，十四兵团又早就在北京组成了军委空军机关，原来四野的四个兵团，除了十五兵团机关是唯一健全的外，还剩下一个由湖南起义部队组成的二十一兵团，那绝对不可能在考虑之列。
从其他野战军调一个兵团机关来，率领四野这三军？显然这是荒谬的设想。那么唯一的选择，当然是让十五兵团机关，带着十三兵团这三个军去东北了。他又往下分析：这样一来，率领兵团的主官，就有最直接的两个选择。一个是由他率领一个我不熟的十五兵团机关，去指挥我熟悉的几个军；还一个，是由邓华率领兵团班子和他熟悉的那个指挥机关，去指挥他不那么熟悉的部队。哪个更合适呢？如果抛开主官个人特点不算，让他来挑，他也会挑让邓华去。因为邓华与十五兵团机关间，不需要适应，他们只需要与各军之间相互适应；主官加指挥机关就是一支部队的脑袋，脑袋合适了，全身才灵活有效，有力量；我来当这个主官，与十五兵团机关间就首先需要适应，兵团机关与各军间，还需要适应。这样，不适应的层次就是两个。时间紧，任务重，怕就不那么好。况且四野的各个军，在南下作战中，不少军就是一会儿由这个兵团指挥，一会儿又由那个兵团指挥，一会儿还由野司直接指挥，****早就把他们搞得适应了这种方式。对！邓华去确实比他去更合适！况且这个老伙计，打起仗来也真不错呢！他这么一想。就全想通了。虽然遗憾，却不再有什么不通及不满了。
黄永胜领着他那个没有多少人员的原第十三兵团兵团部，从郑州南下广东省，改称第十五兵团兼广东军区，接手原十五兵团的部队与防区。7月21日，军委任命黄永胜为第十五兵团司令员兼广东军区副司令员，率领留在广东的各野战军和地方部队，并兼广州警备司令员。从此广东成为他一生连续工作时间最长的地方。到了广州，他还要继续为自己的兵团部招兵买马，四处拉人。还逮住一切机会截人，把他认为合适的一些干部，在调动途中拉到广州来。比如原十三兵团后勤部部长邱国光，原本留在了广西，就是在从广西北调的路上，被黄永胜拉到广州的，担任了华南军区的后勤部长，后来任广州军区后勤部部长。
1951年4月，中南军区以广东军区为基础，成立华南军区，辖广东、广西所属各级军区，统一指挥驻两广地区的野战部队、中南海军和防空军。叶剑英任华南军区司令员，谭政兼政委，黄永胜任华南军区副司令员，兼华南军区防空部队司令员、政治委员，****中央华南分局常委。吴克华任华南军区参谋长，肖向荣任政治部主任。由于叶剑英一直以主要精力从事地方党政工作，谭政不在广东，军区领导人只黄永胜一名副职，黄永胜实际成为这一时期华南地区军事日常工作的负责人。
黄永胜到广东工作时，海南岛已解放，解放万山群岛的战役已进入尾声。当时军事工作的中心任务，是同遍布各地的匪患作斗争，驻华南地区的野战军，大部兵力都投入到剿匪作战之中。广东土匪数量虽少于广西，但地处沿海，面临港澳，又距台湾较近，土匪便于得到外部反动势力的接济，回旋余地较大，其破坏活动的国内外政治影响也大，因而匪情与政治情况更为复杂。1949年11月广东大陆地区解放后，广东各地潜留的土匪武装，共226股5万余人。主要活动在北江、西江、珠江、东江、潮汕和南路6个地区。广东军区和其后的华南军区决心在最短的时间内荡平匪患。当时除地方部队全力以赴外，驻广东的五个军（41、43、44、45、48军）的野战部队，也投入了80％以上兵力进行剿匪作战。至195l年6月，广东省股匪基本消灭。此后结合土地改革肃清残匪。到1952年底，共歼灭土匪17。2万人，肃清了全省历史性的严重匪患，为顺利完成土地改革和进行大规模社会主义建设，打下了坚实基础。与此同时，在中南军区和华南军区的领导下，广西剿匪也取得伟大胜利，共消灭土匪48。8万人。广西剿匪受到******的通令嘉奖。
1952年6月，中央军委命令中南军区移驻广州，与华南军区机构合并，华南军区番号撤销，黄永胜被任命为中南军区参谋长。由于军区司令****、副司令兼代司令叶剑英和政委罗荣桓、第二政委邓子恢陆续调往中央任职，中南军区日常工作主要由黄永胜和第三政委谭政负责。
1950年朝鲜战争爆发后，台湾国民党乘机不断对华南沿海已解放的岛屿进行武装窜犯和破坏。从1951年7月至1952年5月，台湾先后派遣武装特务9股115人，分7批先后在海南琼东县长坡乡等地沿海和山区登陆、空降，结果被当地军民全部消灭，无一漏网。从1951年底至1952年底，国民党又先后派兵在广东省翁源县、梅县、花县、湖南省桃源县、湖北省来凤县等地空降，也被中南军区驻军及当地民兵全部消灭。
1952年10月 19、20两日，中南军区41军一个加强营，由海军汕头巡防区配合，对粤东南澎岛国民党闽南反共救国军一个大队，发起渡海强攻作战，歼灭其少将司令以下118人，解放了该岛，受到中央军委的通令嘉奖。
广州军区作为祖国南大门，有漫长的海岸线和边境线，面对的香港和澳门又长期被帝国主义占领，军区对防备帝国主义的入侵，和台湾地区国民党军的进犯，都负有繁重的战备任务。为抗击反动势力的武装入侵，黄永胜以很大的精力抓好战区设防的国防工程建设。黄永胜对设防的整体布局，有较深远周密的考虑，他的计划是建立在充分调查研究基础上的，他对各重要设防地段都到现地作了勘察。
1955年9月，国防部长彭德怀和军委秘书长黄克诚，视察了华南地区设防情况。视察后第三天，黄永胜便同副司令员梁兴初率军区司令部、后勤部以及广东省军区、军区炮兵、军区工程兵等单位的主要领导，对惠阳地区的各个设防要点一一作了勘察研究。在此后不到一年时间里，黄永胜从广西边境到闽粤沿边沿海地区，以及万山群岛、海南岛等各个设防地域，进行通盘勘察，制定出军区设防工作和工程施工计划，并长期狠抓落实。1959年后，****主持军委工作，修订了国家军事战略方针。黄永胜又一次带领广州军区有关领导及部门负责人，再对战略纵深设防地域进行勘察，并对广州军区的设防计划进行了调整。在勘察中黄永胜十分注意听取他人的意见。1965年9月在粤北某地，研究一个设防地域的布局走向时，黄永胜与副司令员温玉成意见完全一致，正准备登车离去，在一旁沉思的军区副参谋长闫仲川忽然提出了不同看法。黄永胜觉得确有道理，又经过仔细研究，终于采纳了闫仲川的意见。经过十几年的努力，华南地区基本建成了可以应对敌人大规模入侵的完整防御体系。
就是在战场建设问题上，他与国防部长彭德怀狠狠顶了一次。1955年，国防部长彭德怀到广州军区视察国防战备，黄永胜等军区领导和军区机关人员，陪同彭老总到某地一片海滩上。指着绵长的海岸上滚滚白浪镶嵌的金黄色沙滩，军区作战部人员介绍说，这片沙滩水相条件和地形条件，都非常适合登陆作战，因此是此地区反登陆作战的重点设防地带，军区对此处的反登陆作战，制定了周密的国防工事建设规划，和详细的作战预案。
正在介绍作战预案过程中，彭德怀突然将手一挥，指着这一片海岸线，回头对黄永胜说：“你们广州军区要在这样的沙滩上，每隔50米建1座碉堡，并在碉堡后面建成完整的纵深防卸工事体系，敌人登陆，就把他们抗击在沙滩前。”
“这样不行！ ”黄永胜嘴里突然爆出来这么一句。
“你说什么？ ” 彭德怀的声音大了起来，两只眼睛瞪得圆圆的。彭德怀的脾气不好，那是出了名的，一点就爆，在他手下打仗时间这么长，黄永胜太了解了。但是他认为彭德怀的这种构想不对。他一眼看去，彭德怀可能因为在众人面前受到反驳，脸色不好看。黄永胜心里一横，大声说：“这样的沙滩地形，建碉堡建工事，工事再坚固也是敌舰炮击的靶子。仗根本不能这样打！”
“******！就你会打仗？你打的仗多，还是我打的仗多？ ” 彭德怀开始骂娘了。
“你打的仗多怎么了？你是国防部长，也不能瞎指挥！ ”黄永胜拧劲一上来也没客气：“现在敌军武器发展那么快，海岸防卸要是按你说的打，美蒋的军舰飞机到了前面，重炮炸弹，沙滩无险可守，这碉堡就是个靶子，有鬼用！碉堡里的战士就是送死！怎么能让战士这样白白送死呢？”
两个人就在众人面前，一个吼一个喊地吵了起来。彭德怀对被下级这样顶撞，显然非常恼火。
彭德怀瞪着大眼盯着眼前这个大胆的军区司令，黄永胜也抬起他那不算小的眼睛，桀骜不驯地反盯着国防部长。
黄永胜继续说：“这碉堡我的意见不能建！ 这要浪费多少钱？建起来也不会有用。”
最后彭德怀扔下一句话：“好你个黄永胜！”
后来，按国防部长明令，广州军区最终还是组织修建了一批沙滩碉堡，当然数量减少很多。一些年后，海相条件发生变化，那批碉堡一逢涨潮，全泡到海水里了。
