曾国藩的湘军渐成气候的同时，太平军也在不断壮大，咸丰三年，太平军攻下武昌后，接着攻克了江宁（今南京），清朝的两江总督陆建瀛阵亡。太平军改江宁为天京，作为太平天国的都城。接着太平军兵分两路，一路由天官副丞相林凤祥、地官正丞相李开芳率领两万多人北伐，另一路由春官正丞相胡以晃、夏官副丞相赖汉英率领战船千余艘，兵员近三万人西征。
其中的西征军首先攻克江西重镇安庆，安庆在长江上游，若是从这里攻太平天国的都城天京，顺江而下，很占便宜，所以太平军极其看重这个地方，视为南京的门户，首先就把安庆打下来。接着西征军一路势如破竹，先后攻克彭泽、湖口、南康等地，兵锋一直达到江西省府南昌。不过到了南昌，西征军遇到了阻抗，因为南昌的守将是江忠源，他是应江西巡抚张芾的邀请过来帮忙守城的。这时的曾国藩还在忙着扩充湘军，而江忠源已经是身经百战的将领了，战斗经验极其丰富，在清朝将领大多懦弱惧战的情况下，江忠源显得极其抢眼，几乎每次对抗太平军的硬仗里边都有他的身影，分别在广西永安、广西桂林、湘江蓑衣渡、湘南桂阳以及长沙的战斗中和太平军激战，并且都给太平军造成了很大的死伤。
这次江忠源和他的弟弟江忠济率领楚勇协助守卫南昌城，让太平军吃尽了苦头。江忠源和太平军打过多次交道，深知太平军善于“穴地攻城法”，所以时刻防备，一旦听到有挖掘地道的声音，就赶快命令士兵和太平军对挖，破坏了太平军的地道。防备了数天后，还是被太平军挖好了地道，埋上炸药，将南昌城的一处城墙炸塌了，江忠源急忙和弟弟率领楚勇同太平军在缺口处血战，杀退太平军，然后用土袋堵住缺口。十几天后，太平军再次炸塌城墙，这次江忠源一边派兵和太平军血战，一边分了一部分兵绕道太平军的背后夹击，再次打退了太平军。为了防止太平军再次用这个招数炸城墙，江忠源又率领士兵在城外挖掘暗壕，引水灌入，太平军的地道尽被淹没，无法再用这种方法攻城。在江忠源顽强的抵御下，太平军攻了三个月竟然没攻下南昌，只好转而攻打其他地方。
咸丰三年年底，太平军攻克桐城、舒城后，开始攻打安徽重镇庐州，江忠源再次被调到庐州防守。江忠源依旧采用防守南昌的办法，一次次地打退了太平军的进攻。无奈和南昌城比起来，庐州的城墙既不坚固，兵力又不够，物资也不如南昌充足，坚守三十多天后，终于被攻破，太平军蜂拥而入，江忠源见大势已去，遂自刎殉国。
江忠源的死只是清兵惨败的一个开端，太平军攻克庐州后，乘胜又攻下庐江、六安、潜山、无为等地，接着进攻黄州，湖广总督吴文镕战死。太平军继之攻克汉阳，围困武昌，湖南也非常危险了。咸丰帝坐不住了，命令曾国藩马上出兵救援武昌。
咸丰四年（1854），曾国藩率领湘军一万多人出征太平军，出征的时候，曾国藩发布了讨伐檄文，名字叫《讨粤匪檄》，在檄文中，曾国藩痛斥太平军互相之间都称呼兄弟、姐妹，乱了君君臣臣、父父子子、上下尊卑的秩序，而且太平军还不准妇女们裹脚，真是混账。曾国藩对太平军宠信耶稣也是非常痛恨的，认为是中国数千年礼义的灾难。按照历代檄文的惯例，曾国藩在最后说明这一切都是太平军头目的罪，下边的人只要杀了头目来投降便可以封官受赏，如果是被胁迫的，只要弃械徒手来归，一概免死。
发布完檄文，曾国藩率领水路两路大军浩浩荡荡北上。曾国藩的湘军在岳州（今湖南岳阳）这个地方和太平军遭遇。罗泽南认定岳州的大桥是太平军必争之地，如果能先夺取，将会非常有利，于是和自己的学生李续宾等人率领湘军手下拿下大桥。太平军果然大队来攻大桥，罗泽南、李续宾等人坚守不动，等太平军连攻几次后，突然不守了，而是突然猛冲太平军的阵营。湘军的战斗力要比绿营兵的战斗力高很多，所以太平军骤逢湘军，被打了个措手不及，李续宾奋勇搏战，杀掉来攻的太平军头目，并且夺得太平军旗帜，太平军抵挡不住，溃败而走，岳州被湘军占领。
岳州太平军的守将是翼王石达开的哥哥石祥祯，见湘军勇猛，被迫退回湖北，不过很快就有太平军的春官又副丞相林绍璋率军过来支援，再度攻陷岳州，曾国藩只得退守长沙。太平军攻下岳州后，乘胜南下占领靖港，直袭湘潭。湘潭在长沙南边，若是被太平军攻下，长沙将会陷入被南北夹击的境况，曾国藩急忙令塔齐布率湘军一千三百人救援。塔齐布是满洲镶黄旗人，绿营中的火器营，太平军兴起后，塔齐布率领队伍来到湖南长沙帮忙守城。当时绿营将领生活腐化，恶习颇多，只有塔齐布虽为满人，却没恶习，而且非常骁勇。曾国藩非常看重他，上奏举荐塔齐布为副将，从此塔齐布跟着曾国藩一起操练湘军。
塔齐布认为太平军非常善于坚守，如果等他们在湘潭扎了根，就很难攻克了，所以受命之后，直扑湘潭。没想到塔齐布的湘军在半路和太平军遭遇，塔齐布手持湘军大旗奋勇冲进太平军阵中，连杀好几个人，太平军退往湘潭。塔齐布追到湘潭，身先士卒，在枪林弹雨中，手持长矛深入太平军，殊死搏斗，大破太平军，攻下湘潭。太平军自从金田起义以来第一次见惯了临阵逃跑的清将，第一次见这么勇悍的，死伤惨重，损耗上万人。
就在湘军湘潭大胜的前几天，曾国藩已经率领五营的水军以及八百陆军从长沙出发，进攻靖港，因为他已经听说湘潭那边已经占优势了。他准备趁机把靖港也拿下来，这样南北都重创太平军，长沙就安全了。曾国藩进入靖港后便遭到了太平军岸上炮火的袭击，炮火过后，二百多只小船冲出，杀向曾国藩的水军，刹那间，十几只船被毁，水军士兵纷纷逃往岸上。曾国藩又急忙令陆军支援，结果太平军纷纷杀来，陆军也大败。曾国藩亲自挥剑指挥，也不能遏制败势，眼见水陆两军俱败，曾国藩羞愤交加，万念俱灰，纵身一跳，跃入湘江，准备像他的湖南老乡江忠源一样，自杀殉国。这时候的曾国藩抗击打能力还是很差的，首次大败，看到自己苦心经营的水师都没了，就想自杀了事。
如果曾国藩真就这么死了，将会直接影响很多人以后的人生走势，更会影响清王朝的运势。关键时刻，有一个叫章寿麟的人紧随着曾国藩也跳入水中，奋力将曾国藩救出，逃往长沙。章寿麟只是曾国藩数百名幕僚的其中之一，非常不起眼，但是他这一跳却意义非凡，他不只是救了一个曾国藩，他救的是一个王朝。
湘潭靖港之战是湘军出师第一战，经过这一战，湘军和太平军双方都损失惨重，曾国藩在靖港大败，太平军在湘潭大败，曾国藩的水军只剩下湘潭的5个营，陆军只剩下湘潭和留守平江的两千多人，损失一半，而太平军的损失也非常惨重。
因为这次大战湘军死了很多人，所以有人请求增加士兵，曾国藩否决了，因为大战之前，湘军一共有一万多人，不算少了，但是在遇到太平军后，只有杨载福的水军和塔齐布的陆军奋勇作战，其他营的士兵都是一战即溃，所以兵贵精而不贵多。
曾国藩在长沙稍做休整后，趁着太平军刚刚在湘潭大败，迅速出兵攻打岳州。这时候武昌已经被太平军北王韦昌辉的弟弟韦志俊攻了下来，当时太平军中十八岁的陈玉成带领五百勇士首先入城，攻下武昌。
六月份，曾国藩在城陵矶和太平军展开了大战，双方互有伤亡，和曾国藩对阵的太平军将领也姓曾，叫曾天养。曾天养参加金田起义的时候就六十多岁了，虽老却非常骁勇，有黄忠之称。七月份，清军将领陈辉龙自己乘船攻击太平军，湘军水军将领褚汝航、夏銮以及广东游击沙镇邦跟着冲过去，结果因为风大船只不好返回，全部战死。
曾天养杀完曾国藩的四名大将，乘胜率领三千人登岸，曾国藩陆军将领塔齐布率军掩杀，混战中，曾天养手持长矛，直刺塔齐布，一下刺中塔齐布的战马，又想再刺塔齐布，却被塔齐布的亲兵刺中，湘军一拥而上将曾天养杀死。
曾天养死后，太平军败退武昌，曾国藩令罗泽南攻花园，塔齐布攻洪山，杨载福率水军前行，分兵攻打武昌。太平军由于湘潭、岳州、城陵矶等地的失败，士气大挫，在湘军的猛攻下，抵挡不住，弃城而走。曾国藩终于恢复了武昌、汉阳。
