湘军幕僚
咸丰三年（1853年），从武汉顺江东下的太平军占领安庆，杀死巡抚蒋文庆。李鸿章怂恿工部左侍郎吕贤基上奏，并代为捉刀连夜赶写奏章。咸丰帝诏谕工部左侍郎吕贤基前往安徽，任安徽团练大臣，办理团练防剿事宜。吕对李说：“君祸我，上命我往；我亦祸君，奏调偕行”。于是，他随同侍郎吕贤基回籍办团练，5月首次与太平军交战于和州裕溪口。次年，李鸿章的父亲李文安也由王茂荫举荐，回乡办团练。李家父子的团练“整齐皆可用”。李鸿章先后随周天爵、李嘉端、吕贤基、福济等清廷大员在皖中与太平军、捻军作战。
李鸿章以书生带兵，既有“专以浪战为能”的记录，也有“翰林变作绿林”的恶名。数年的团练生涯，使他逐步懂得了为将之道，不在一时胜败，不逞匹夫之勇。
咸丰五年（1855年）十月，因率团练收复庐州之功，“奉旨交军机处记名以道府用”。咸丰六年（1856年）九月，随同福济等先后攻克巢县、和州等地，后叙功赏加按察使衔。然而，功高易遭妒，一时之间，谤言四起，李鸿章几不能自立于乡里。咸丰七年（1857年），安徽巡抚福济奏报李鸿章丁忧，为父亲守制，从而结束了他为时五年的团练活动。
次年，太平军再陷庐州，李鸿章携带家眷出逃，辗转至南昌，寓居其兄李翰章处。
咸丰九年（1859年）十二月赴江西建昌，入曾国藩幕府，负责起草文书。此时，正当湘军三河之战刚刚败，需人孔急。因此，曾国藩对于招李鸿章入营襄助，甚为积极主动。但曾也深知，李自恃才高气盛，锋芒毕露，真要独当一面，还需再经一番磨砺。于是，他平时尽量让李鸿章参与核心机密的讨论，将其与胡林翼、李续宜等方面大员同等看待；当时，湘军幕府中有不少能言善辩之士，如李元度、左宗棠等，曾国藩经常有意无意让他们与李鸿章争口舌之长，以挫其锐气。至于曾氏本人，更是身体力行，以自己的表率来影响李鸿章。如李爱睡懒觉，曾则每日清晨必等幕僚到齐后方肯用餐，逼李每日早起；又李好讲虚夸大言以哗众取宠，曾多次正言相诫：待人惟一个“诚”字。每当遇到困难河挫折，曾则大谈“挺”经。如此苦心孤诣，使李鸿章的思想、性格乃至生活习惯都深受曾国藩的潜移默化。李鸿章自称：“我从师多矣，毋若此老翁之善教者，其随时、随地、随事，均有所指示”。又说“从前历佐诸帅，茫无指归，至此如识指南针，获益匪浅。”曾国藩生性“懦缓”，而李的作风则明快果断；曾国藩每有大计常犹豫再三，往往得李在旁数言而决。
其后安徽巡抚翁同书（同治帝、光绪帝之师翁同龢长兄）对太平天国战争时弃城逃跑，曾国藩起草《参翁同书片》时采用李鸿章之草稿：“臣职份所在，例应纠参，不敢以翁同书之门第鼎盛瞻顾迁就”（当时翁同书之父翁心存正处高位），并因此更欣赏李鸿章的才华。但李鸿章也因此与翁同龢结下不共戴天之仇，日后翁同龢处处刁难北洋水师。
咸丰十年（1860年）秋，曾、李师生之间因曾国藩决定移军祁门和弹劾李元度二事发生严重分歧。李鸿章认为祁门地处万山丛中，是兵家所忌的“绝地”，移驻不妥；而李元度追随曾氏，好为“文人大言”，而非将才，曾深知其短却使他领军防守徽州，甫一兵败又严词纠参，李鸿章不愿拟稿并“率一幕人往争”，终至愤而离营。这表明，李此时的战略和用人眼光已在曾之上。后来，经过胡林翼、陈鼐和郭嵩焘等友朋的劝说和曾国藩的再三招请，李鸿章乃于次年六月七日重回湘军大营。
同年，太平军二破江南大营后，清政府在整个长江下游地区已失去最后一支主力。在太平军猛烈攻势下，江南豪绅地主，纷纷逃避到已经形同孤岛的上海。为了免遭灭顶之灾，在沪士绅买办一面筹备“中外会防局”，依赖西方雇佣军保护上海；另一方面又派出钱鼎铭等为代表，前往安庆请曾国藩派援兵。钱鼎铭先动之以情，每日泣涕哀求，言江南士绅盼曾国藩如久旱之望云霓；继而晓之以利，说上海每月可筹饷六十万两，这对时感缺饷的湘军，不啻是一大诱惑；同时，钱鼎铭还利用其父亲钱宝琛是曾国藩和李文安同年的关系，走李鸿章的门路要说动曾国藩。曾国藩最初属意派曾国荃领兵东援，但曾国荃一心要攻下天京，建立首功，而不愿往。随后，曾国藩又函请湘军宿将陈士杰出山，但陈亦以“母老”力辞，曾国藩最后转商于李鸿章，李欣然应命，于是开始了淮军的招募与组建。