李鸿章在京师供职期间，国内阶段矛盾已经十分尖锐。中国人民在鸦片战争之后，由于西方资本主义的入侵，再加上旧的封建压迫，已经陷入水深火热之中。广东、广西、湖南一带，受到鸦片战争的直接冲击，社会动荡尤为剧烈。1851年在广西桂平金田村爆发了太平军农民大起义。1852年，太平军打出广西，进入湖南。1853年1月，太平军一举攻克武汉三镇。同年2月，全军顺江东下，水陆并进，以疾风扫落叶之势，席卷东南，清军望风而逃，不战而溃。3月，攻占东南第一重镇南京，随即于当地建都，改南京为天京，建立了太平天国农民革命政权，与北京的清王朝封建政权相对峙。早在太平军初起时，清廷鉴于嘉庆年间因用团练政策镇压川楚白莲教起义奏效，就屡次谕令各省在籍大官僚兴办地方团练，以补官军力量之不足。1852年，曾国藩奔母丧在籍，即被任命为湖南团练大臣。截至南京被太平军攻占，先后奉旨兴办团练的地方共10省，被任命为团练大臣者计有40多人。李鸿章就是在这种情况下，奉旨离开京师，回原籍办理团练，从而走上镇压农民起义的道路。
工部左侍郎吕贤基，安徽旌德人，与李鸿章一家为世交。李鸿章在京师供职期间，颇以能文自喜，经常代吕贤基草疏言事。1853年2月28日，他得悉安庆被太平军占领，因“感念桑梓之祸”，便怂恿吕贤基向皇帝建言，并连夜代写奏章。29日，咸丰帝批准了吕贤基的奏章，命他回皖督办团练，配合官军堵剿太平军。3月4日，吕贤基奏调编修李鸿章、刑部员外郎孙家泰、主事朱麟祺等皖籍官员随带同行。14日，又奏调兵科给事中袁甲三等赴皖帮办团练事宜。
早在1853年2月，安庆陷落后，安徽巡抚蒋文庆被杀，清廷命周天爵为安徽巡抚。周天爵以年老力辞，清廷即命他以兵部侍郎衔专办皖北团练。3月17日，清廷改命李嘉端为安徽巡抚。约在此前后，李鸿章随吕贤基等一行回到安徽，先至宿州与周天爵晤面。吕贤基一面会同周天爵通饬各州县举办团练，一面分遣李鸿章等属员回籍，各就乡邑，劝谕乡民，兴办团练。李鸿章回到合肥老家后，便在东乡募勇数百名，旋即随同周天爵至颍州、凤阳、定远一带堵防捻军。6月，天京派太平军沿江西上，皖抚李嘉端因军情紧急，将李鸿章调回，命他率团勇千人扼守江边和州裕溪口粮道，以功赏六品顶戴，并赏戴蓝翎。此后，李鸿章即率所部团勇配合清军转战柘皋、巢县、无为等地，并攻占东关。10月5日，太平军水师猛攻东关，李鸿章与总兵玉山力不能支，仓皇败逃，太平军随即占领东关，并将运漕镇、东关漕粮16万石陆续运往天京。清廷以李嘉端无能将他革职，于10月21日改命江忠源为安徽巡抚。李鸿章自东关败后，往投舒城吕贤基军营。11月上旬，太平军胡以晃、曾天养率军自安庆往攻庐州（今合肥市，时为清方安徽临时省会）。11月14日下桐城县。之后攻占舒城，斩刑部主事朱麟祺。团练大臣吕贤基和通判徐启山投水自杀。李鸿章与总兵恒兴逃回庐州。
当李鸿章率练勇在淮南转战之际，曾国藩正在湖南编练湘军（当时称为湘勇）。曾国藩奉旨督办团练之初，即以团练不足以“办贼”，而绿营兵又不可用，决心“改弦更张”，创建一支新的军队——湘军，同太平军作战。他创建湘军完全是针对绿营兵之“不可用”而来。因此，他编练湘军，决心摈弃绿营兵之积弊，仿照明代戚继光编练戚家军之“束伍成法”，实行封建乡土结合，建立严格的个人隶属关系：大小将领主要用湖南人，彼此或是同乡，或是同学，或是门生，或是亲族，都由各种封建关系把他们纠集在一起；士兵也都招募湖南人，最多的是曾国藩的老家湘乡人。整个湘军营制，大帅选用统将，统将自置营官，营官自拣哨官，哨官自行挑选什长、士兵。每个营只服从营官一人，各军只服从统将一人。各军各营彼此独立，互不相统属，全军只服从曾国藩一人，不受其他任何节制。当时曾国藩准备将编练的湘军与江忠源原有之楚勇合成一军，计划于第二年夹江东下，同太平军作战。不久，得知江忠源升任皖抚，随即致书江忠源，向他推荐李鸿章：“李少荃（鸿章）编修，大有用之才，阁下若有征战之事，可携之同往。”与此同时，又致函李鸿章，将绿营兵之不可用，以及他在湖南编练湘军的做法和意图，告诉了李鸿章，要求他也能按照湘军精神，“束以戚氏之法，精练淮勇，待‘明年楚勇过境’，即与楚勇合为一军”，“以为四省（湖南、湖北、江西、安徽）联防之计”，并告之江忠源现开府皖省，“求贤孔殷”，请李鸿章助一臂之力。
由于曾国藩的荐引，李鸿章自舒城逃回庐州后，即应新任皖抚江忠源之请，在庐州西北30里的岗子集，召集从舒城溃退的练勇600余人，协守庐州。12月12日，胡以晃、曾天养部太平军进围庐州。江忠源因城内兵单，连忙征调六安镇总兵音德布、寿春镇总兵玉山、已革按察使张印塘等部清军，分别自六安、巢县、东关赴援。咸丰帝也急命江南大营向荣速派和春北上，并严催已革陕甘总督舒兴阿部清军速援庐州。12月18日，太平军大败清军于拱辰门外，阵斩玉山。张印塘收集残部退往店埠（今肥东县）。1854年1月6日，在围城紧急之际，李鸿章驰赴正阳关舒兴阿军营乞援，愿率所部练勇，自备口粮，随同舒军解庐州之围。12日，舒军抵庐州外围，扎营岗子集，旋即派马队进至西城外，遥见太平军，不战自溃。14日，庐州即被太平军攻陷，江忠源投水塘死。江忠源之死，李鸿章在精神上受到很大打击，此后又投到新任皖抚福济门下。
庐州失守，江忠源自杀，清廷以漕运总督福济为安徽巡抚。李鸿章即率所部练勇投到福济门下。同年2月，李鸿章之父李文安亦奉旨回乡办理团练，与李鸿章一起，同受福济节制。李氏父子皆进士出身，在本乡颇有声望，经李文安招抚编练，李部团练势力逐渐扩大。庐州团练本有官团与民团之分。官团多兴于东乡，民团多兴于西乡。李鸿章所部练勇为东乡官团，其部下有李胜、张桂芳、张遇春、张志邦等人。西乡民团有大潜山下刘铭传，周公山下张树声、张树珊兄弟及紫蓬山下周盛波、周盛传兄弟，号称三山团练，十分剽悍好战。李文安回籍后，为了扩大自身势力，即将西乡民团张树声“如襄戎幕”，并通过他联络刘铭传及周氏兄弟。此外，庐江团首潘鼎新曾先后以李鸿章父子为师，彼此关系甚密，而潘鼎新与庐江另一团首吴长庆又为世交，李氏父子通过潘鼎新与吴长庆亦有联系。因此，李鸿章与其父李文安在淮南各团首中很有号召力，而这些团首也就成为后来李鸿章创建淮军的基本班底。
1854年冬，福济督军久攻庐州不下，李鸿章建议：欲攻庐州，应先取含山、巢县，断太平军之接济。福济采纳其议，于1855年2月1日，命他率所部练勇会同千总莫青山、佐领辑顺攻占含山，败太平军。李鸿章以功赏知府衔，换花翎，由是以知兵闻名。含山既下，李鸿章与其父又随同副都统忠泰进攻巢县。由于太平军力守，久攻不下，李文安在军中暴病身亡，李鸿章离军奔丧。7月26日，太平军万余人对忠泰营进行反攻，忠泰部清军全军覆没，李鸿章因不在军中得以身免。不久，李鸿章又回军中效力。11月10日，随福济、和春等围攻庐州，由他联络监生鲁云鹏、绅士王南金等人在城内纠众千余人为内应，清军遂得以夺占庐州，奉旨交军机处记名，以道府用。1856年10月下旬，又随福济等攻陷巢县，进占无为、和州等地，赏按察使衔。李鸿章在福济幕中，因福济实不知兵，多从李鸿章之议，由是遭众妒忌，颇不得志，同年底便离军，服丧守庐。朝廷以李鸿章迭次镇压太平军出力，交军机处记名，以道员补用。至此，李鸿章结束了办理团练生涯。
