咸丰十年正月，左宗棠从长沙北上，渡过洞庭湖，此际，风雪交加。三月初三，他来到了襄阳。安襄郢荆道毛鸿宾给他送来一封胡林翼的密信：官文正在到处活动，劝左宗棠不要到北京，自送虎口。王柏心来信劝左宗棠投奔胡林翼或者曾国藩。
左宗棠来到安徽宿松，拜见了曾国藩，被留在身边。
不久，曾国藩接到咸丰帝的密令，询问："左宗棠熟习湖南的形势......是应该让左宗棠留在湖南，还是调往军营。"曾国藩为人谨慎，回奏：左宗棠精通兵法，请求陛下明降谕旨，让左宗棠安心任职。朝廷发下谕旨，授予左宗棠四品卿衔。
左宗棠接到任命时，太平军将领陈玉成、李秀成率领各路军，击溃江南大营。李秀成挥师东进，进攻江苏；陈玉成挥军安庆，进攻湘军。
两江总督曾国藩命左宗棠在长沙招募五千士兵，另建一军。左宗棠选择崔大光、罗近秋、黄少春等湘军旧将，派他们回各县招兵，组建楚军。
左宗棠正在训练楚军时，清朝命左宗棠到四川督办军务。左宗棠认为自己资望尚浅，难以在四川立足。曾国藩和胡林翼便联名上奏，仍由左宗棠率领楚军。
八月，左宗棠率楚军进入江西，得知太平军占领了徽州。他率楚军进驻景德镇。楚军到达景德镇后，一部分太平军前来打探虚实。左宗棠派人将其击溃，又派人在半路上截杀太平军，太平军大败而去，楚军占领了德兴，奋起追杀，攻下婺源。
十一月，太平军李世贤部包围了祁门，黄文金部几万人进攻楚军。左宗棠派一部分楚军从后面包抄，将黄文金打败，又和曾国藩的军队配合，伏击了黄文金。楚军连打两次大胜仗，左宗棠升任三品京堂后补。
李世贤部太平军势如破竹，攻占了严州、绍兴、宁波、台州，十一月占领杭州。曾国藩推荐左宗棠担任浙江巡抚。十二月，清廷授予左宗棠为浙江巡抚。左宗棠掌握大权，成为清朝的封疆大吏。
楚军初出湖南时仅五千人，后来增加到八千多人，广西按察使蒋益澧、总兵刘培元率部赶来会合，全军共一万四千多人。
同治元年正月（1862年2月），左宗棠率楚军进军浙江，占领了开化。太平军人数众多，势力强大。双方在浙江多次交战。
十一月，楚军攻占严州，直指杭州。同治二年春，楚军先后攻克汤溪、金华、武义、绍兴等城。四月，清廷命左宗棠担任闽浙总督，兼任浙江巡抚，楚军扩充到三万多人。
八月，左宗棠指挥楚军和中法混合军"常捷军"，占领了富阳城，进攻杭州。
八月底，楚军兵临城下，双方展开激战。十二月，楚军将杭州包围。李鸿章率淮军在江苏连败太平军。曾国荃率湘军对南京的围困更紧。
同治三年二月（1864年3月），左宗棠加紧攻城，攻破城外堡垒。太平军半夜从北门突围。楚军占领杭州。同一天，坚守余杭的汪海洋率太平军弃城逃跑。
六月，湘军攻陷南京。长江南北仍有太平军残部几十万人。赖文光部和北方捻军合兵一部。李世贤、汪海洋部，共十多万人。清廷命左宗棠镇压这支窜入福建的太平军残部。
李世贤、汪海洋等人于同治四年春（1865年）退入广东，受到重创，左宗棠一路追杀。十二月，楚军发起总攻，这支太平军被消灭。
1871年，马化龙、马耀邦父子投降。1873年11月，回民义军首领马文禄投降被害。
