清廷一看有“苗头”，忙不迭催促曾国藩，乘胜追击，力争一举拿下南京。但这时，在上海城内被太平军围困了很久的商人和士绅们，感到吃不消了，他们的生意和生活已经受到极大的影响，怕夜长梦多，上海一旦陷落，整个江南必不可收拾，于是派代表来讨救兵了。

1861年11月8日，上海官绅厉学潮、钱鼎铭等人，代表被太平军围困在上海县城里的商人和士绅，乘外轮来到安庆面谒曾国藩。他们递上苏州宿儒冯桂芬的一封长信，信中冯桂芬认为，上海一地战略地位极为重要，一旦不保，将贻害全局。

目前上海“将怯兵惰，旦夕不可恃”的状况，而上海物宝天华，月可征得饷银数十万两，若落入太平军手中则天下更无太平之日了。目前乘太平军内讧之际，官军大可与洋人的“洋枪队”配合，克敌制胜。钱鼎铭等人甚至声泪俱下，叩头乞师。

当时曾国藩和清廷的眼光只看到南京就在眼前，急于发重兵拿下南京，没有看清苏浙两地大有钳制南京的后劲，所以起初曾国藩对开赴上海颇有些疑虑，一是担心上海地方太远，宛如“飞地”，一旦形势有变化，“声援不相达”；更重要的是，上海一地，南面和北面已被太平军占领，而东面是大海，在军事上是个“死地”，没有回旋的余地，万一失利反而不合算，因此犹豫再三。

而李鸿章鬼才心眼多，他从丰富的饷源看到了士卒作战的积极性，从太平军大军攻城不下，看到了上海的“人气”，甚至看到了“以沪平吴”的前景，所以极力怂恿曾国藩派兵前去。曾国藩最初的计划是让曾国荃当主将，而配以李鸿章和左宗棠为副手分兵援沪。

他在给曾国荃的信中写道：“上海为苏杭及外国财货所聚，每月可得厘捐六十万两，实为天下膏腴。”谁知曾国荃的见识还远不及他大哥，他不理这一套，一心要在拿下南京上创建头功，这就给了李鸿章一个历史性的机遇。

有一天曾国藩召集湘军将官开会，商议援沪事宜，结果将官们你看我，我看你，谁也不想去那个“死地”找死。这下急坏了搬救兵的上海人，钱鼎铭遂夜访李鸿章，以“世交”的身份再次拍胸膛，以丰厚的饷源相保证，怂恿李鸿章主动请缨。他说上海一地有的是钱，缺的是能打仗的兵和能领兵的将。李鸿章问他，将的标准是什么，他说，像你这样的就行。

李鸿章的高明在于“于众疑处而不疑”，恰恰认为援兵上海，是一个独立崛起的好机会，于是在第二天的会议上自告奋勇，愿意编队前去。这就是后来举世闻名的淮军。而在当时，他手里还无一兵一卒，还只是个曾国藩的文案(秘书)呢。

组建淮军，李鸿章把安徽老乡的关系用足用透。

李鸿章受命编练淮军，因前有他们父子办团练的基础，跟合肥肥东、肥西的哥儿们都混得不错，所以数月即成。他叫他的弟弟李鹤章去家乡肥东招募丁勇，把过去被打垮的摊子再收拾起来，他自己则把重点放在肥西。因为肥西历来民风强悍，各个山头、豪绅、地头蛇筑寨自保，咸丰以来更是山头林立，号称“民团”。他们在数年的太平军、捻军和清军的拉锯战中，不仅没有被消灭，反而越战越强，形成了几个山大王，而以张树声势力最强。

这回又是老天长眼。张树声的父亲张荫谷与李鸿章的父亲李文安关系不错，当初李文安回乡办团练时，还曾把他召入幕府。有了这层关系，李鸿章自然就有了与之通话的资本，他们成了“世交”。

终于有一天，张树声把周氏兄弟和刘铭传请到了自己的圩子里，仿照桃园三结义的办法歃血为盟，然后说，咱们兄弟这些年来很不容易，但是长期这样当山大王也不是回事，男子汉总得要个功名。听说李家的李少荃现正在曾国藩的手下做事，正在编练淮军，饷银不愁，我们不如去投奔他吧。几位兄弟想想也就同意了。于是由张树声起草了一封信，派人送到湘军大营。据说曾国藩看到这封信后，兴奋地拍着李鸿章的肩膀说：“独立江北，今祖生也！”把他比做东晋的祖逖了。