道光三十年之后，太平军从广西迅速发展到湖南、湖北、沿江而下，直逼南京。清军自广西尾追太平军，一直追到南京郊外，前后达三年之久，但太平军却一点儿也没有受到损伤。当时由江忠源和罗泽南所组织之乡勇，却胜过正规军—在咸丰二年防守长沙的战役中表现得特别突出。太平军自解长沙之围后，曾国藩奉谕组建湖南乡勇。经过多方劝导，曾国藩咸丰三年一月二十九日决定承担这一使命，并以“一不贪财，二不怕死”作为军队的口号。
曾国藩组建的湘南军，即“湘军”，也称“湘勇”，是由罗泽南之“湘勇”，江忠源之“楚勇”以及其它各部组成的。曾国藩制订出训练士卒的严密计划，并着手整顿纪律，完备组织，这些措施对他最终取得胜利关系甚大。他设置集中训练营，把那些有过临战经验的乡勇的训练营接受进一步的训练，又在湖南各地广设招兵站，并对亲兵进行初步训练。在出省与太平军作战之前，他决定先派这支军队在省内剿灭土匪，这也是一种战前演习，以期取得作战经验。然而，他为此却受到那些曾经与太平军作战却老打败仗的人的责难，甚至当上疏详陈作战计划时，亦受到皇帝的训斥。但曾国藩坚持初衷，毫不动摇，不顾多方的拦阻、非议，也不管外地如何催促求援，继续组织训练那些纪律散漫、缺乏作战经验的乡勇。湘军编练的计划能否实现，取决于湖南官绅所提供的军费。但是在组建湘军初期，地方上是不予财政支持的，直到江忠源和罗泽南在衡山县打了胜仗，朝野震动，地方当局才认识到应该给曾国藩提供一定的军费。
曾国藩在初期的多次战斗中，地方官的不予支持使他处境倍感困难，这种情况直到后来他本人身兼数省督抚之职、有权掌管财政时的时期，情况才好转。不数月，曾国藩即接受江忠源和郭嵩焘的紧急建议，建造炮舰，训练水军，由杨岳斌及其他将领统辖，以便把太平军赶出长江。
太平军咸丰三年攻占南京后分两路向清廷发起进攻：一路向华北进军；一路西进安徽、江西及湖北。当时，虽然各方一再向曾国藩求援告急，但他确实无力派兵往救湖北。当时大部湘军已驰援江西，其余部分留在湖南对付地方起义，此时“水军”尚在筹建之中。几月后，太平军自湖北向湖南的湘军发起了攻击，曾国藩于咸丰四年二月二十五日动用新建水师二百四十艘船只及五千水军，但是因为暴风雨的袭击，船舰无法行动，加之军队缺乏水战的经验，致使曾国藩在湖南两次打了败仗：一在岳州，一在靖港。曾国藩当时非常羞惭，竟欲自尽。幸而这年五月一日，塔齐布和彭玉麟在湘潭战胜，迫使太平军向岳州撤退，清军于当年七月二十五日攻克岳州，这一胜利鼓舞了曾国藩。太平军曾在咸丰二年一月十二日攻占武昌，这是太平军三次攻占武昌中的第一次。不过同年二月即为清军收复。咸丰四年六月二十六日，太平军再次攻占武昌。十月十四日，曾国藩部湘军在罗泽南及江忠源率领下，再次收复武昌。这是清军攻克武昌，也是对太平军征战计划的一次沉重打击。这年十二月二日，曾国藩又在田家镇战胜太平军的顽强抵抗，赢得了完全的胜利。与此同时，上海城亦于咸丰五年二月从被起义的小刀会手中收复，直到咸丰五年五月底，北伐的太平军也已基本宣告失败。
正当曾国藩部顺江而下进至九江时，遭到太平军将领林启容部之顽强阻击。林启容于太平军初建时即参加起义，是太平军中一员英勇善战的将领，曾国藩的一部分水军被太平军困于鄱阳湖；在长江另一部湘军水军也被击败，甚至曾国藩的座舰亦为太平军俘获；余下的舰只又大多毁于一场风暴之中。由于连连失利，曾国藩部士气低落。曾国藩为此老了好多，曾经再次投水自杀但被人救起。经过一番整顿，咸丰五年四月三日，太平军为削弱清军对九江之攻击，发起攻势，第三次攻占武昌。此时曾国藩不顾武昌失守，只是命塔齐布继续攻打九江。同时另派罗泽南及胡林翼前往收复武昌，他自己则坐镇南昌，吸引太平军主力。但不久，塔齐布及罗泽南双双战死，曾国藩自己也遭到太平军石达开的钳制。曾国藩此时已面临全盘崩溃的局面，幸亏曾国藩遇事还算冷静沉着，善于应付意外，加之知人善用，胡林翼与李续宾终于咸丰六年十二月十九日最后一次收复武昌。由于彭玉以之协同作战，其弟曾国荃又率军自湖南来援，曾国藩在南昌之困境，得到缓和。
太平军虽然在湖北江西失利，但在南京这时却大败向荣的大军。太平军内后来发生了惨烈的内讧，削弱了自己的力量，终于失去所取得的大部分地区。此时曾国藩的父亲于咸丰七年二月二十七日也逝世，曾国藩只得暂时离职奔丧。不过，他那些才干出众的将领们，按照他的计划于咸丰八年五月十九日收复九江。然后进攻安庆，以便最后收复南京。为收复安庆，虽然有许多在太平军包围下的城池乞求他前去支援，但他一概不予理睬。为便于攻取安庆，曾国藩率部进驻皖南祁门。咸丰十年，曾国藩被授任两江总督，加授钦差大臣统领江南军事。至此，他已拥有处理军务的全权，其中包括筹集军饷等财政大权。
咸丰十年至十一年间，曾国藩处境又转入艰难。咸丰十年早些时候，太平军在南京附近击溃重整后的清军，在李秀成指挥之下，太平军又再度焕发青春，主动进攻清军。江苏及浙江大部地区，都落入太平军手中，仅上海一地未被太平军完全占领。但太平军对上海的多次进攻，均被李鸿章等击退。就在这年，英法联军打到北京城，清帝及大臣俱逃往热河避难。各地纷纷呈请曾国藩派兵支援。然而自咸丰十年九月，曾国藩也在祁门被太平军围困，对驰援其他地方，他是泥菩萨过江，自身难保，心有余而力不足。咸丰十一年四月，曾所处困境达于极点，但他下定决心誓死不退。直到左宗棠及其它部队增援祁门，形势才开始好转。后来曾国藩的弟弟曾国荃终于在咸丰十一年九月五日攻占安庆，此后，曾国藩即以安庆为基地，准备收复南京。为避免在南京一线集结过多的军队，并防止太平军趁机夺取清军后方地盘，曾国藩摆开了三个战区：一在江苏，由李鸿章统辖；另一在浙江，由左宗棠统辖；第三在安徽由他自己统辖。清军在这三个地区频频对太平军发起攻击，各地的太平军逐渐被围困，此时曾国荃，自请攻取南京。自咸丰三年三月十九日南京成为太平天国的京城以来，大量清军多次被击溃，尤其是在咸丰六年八月、咸丰九年十一月及咸丰十年八月围攻南京的清军伤亡特别惨重。当时虽然外国军队打算前来援助，但被曾国荃所拒绝。经过长期围困及殊死战斗，曾国荃于同治三年（1864）七月十六日终于攻克南京。不过太平军的余部，直到两年后才被完全剿灭。对于最终剿灭太平军论功首推曾国藩，清廷赐他一等“毅勇”侯封号，他是文官中获此封爵的第一人。
太平军被平定之后，曾国藩继续任两江总督，驻留南京数月。此期间他致力于恢复江浙地区生产工作，在饱受十五年战乱之苦的江南地区恢复学术活动。同治三年初，曾国藩就在安庆大营建立起官办书局，刊刻经史典籍。战乱平定以后，他聘著名学者主持书局，事后他遣返大部分湘军回乡归农，军中某些文官则受雇担任书局校对。当年，他颁布条例，在南京、苏州、扬州、杭州及武汉各建书局。此即“官办五局”。十二月二十日恢复南京乡试。在太平军占领期间，这个地区的乡试中断多年。
同治四年六月，清政府下谕急令曾国藩前往山东征剿捻军。曾国藩受命统领山东、直隶及河南军事。但曾国藩北方剿捻一年多，不但没有取得战果，捻军日益壮大。李鸿章于同治四年十二月十二日继任其职，曾国藩返回南京。
早在同治二年，容宏曾向曾国藩建议，在上海筹建铁工厂，此即后来的江南造船厂。容宏经曾国藩同意后从国外购进机器。同治五年江南制造局成立，同治七年，该局建成中国第一艘轮船，并驶至南京请曾国藩验看。
同治六年，曾国藩拜大学士。同治七年九月，出任直隶总督，任内，曾国藩着手处理一大批长期悬而未决的案件，改进了办事效率，并制订出一项建立常备军的方案。同治九年，他奉令调查并处理“天津教案”。此案即将结束，曾国藩因年老多病，于同治十年调回南京原任。不久直隶总督由李鸿章继任。八月十八日，曾与李联名上疏，建议派遣青年学生赴海外留学。这一项建议同治十一年实施。然而，就在学生启程出洋之前几日，曾国藩病逝。
