他一方面严肃军纪，抓紧训练士兵，积极备战，另一方面自己也要熟悉环境，包括与在沪的中外官员“过过招”，尤其注重考察洋人的军队和武器装备。他甚至不惜化了装，混上英法联军的军舰，看看洋人到底有多少实力，武器到底有多么厉害，为什么能顶得住太平军的进攻。

不看不知道，一看吓一跳。他在给清廷的奏折中不断地惊叹，人家那枪、那炮，尤其是那落地开花的大炮……哎呀，把他羡慕得只差眼珠子没弹出来。李鸿章的聪明还在于他绝对是个现实主义者，从那一刻起，他就无时无刻不想着办洋务的事：我们自己也要造枪、造炮、造军舰！

还没等他去造枪、造炮、造军舰，战斗就打响了。1862年6月，太平军的李秀成率万人大军对上海进行第二次战略围攻，形势紧急。然而李鸿章已通过在广东办厘捐的大哥李瀚章，火速从香港买了三千支洋枪。关键时刻，当大哥的又一次帮了他的忙。

进入上海的第一仗关系到李鸿章的声威和淮军的军威，关系到能否在上海站住脚，只能打胜，不能打败。据说李鸿章搬来一把椅子往虹桥桥头一坐，亲自督战。太平军这时也用上了火炮，火力非常猛烈。张遇春率队上去没多久就顶不住了，渐渐退了下来，刚跑到桥边，被李鸿章撞见。李回顾左右说：“拿把刀来，把他头砍了！”吓得张遇春不得不硬着头皮返回去再战。张遇春是淮军最早的营号，又是李鸿章亲信，在此万分紧急关头，李鸿章要拿他来开刀，其它将领看在眼里，只有铁心死战。这时程学启部来了个里应外合，终于击退了太平军。

接下来8月和10月，又是两场恶战，由勇猛善战的程学启部和刘铭传部，打太平军的谭绍光部。刘铭传是率领洋枪队上场的，打得极其过瘾，大获全胜。

接连三个胜仗一打，是骡子是马已经拉出来蹓过了，上海人不得不佩服这帮穿着像叫化子一样的淮军，中外人士不得不拿正眼来看李鸿章了。英国人的报纸也大拍马屁，说这支淮军是“中国最优秀的军队”。清廷也大为欣慰，马上把原先给李鸿章的那个虚衔去掉，改为实授江苏巡抚(两个月后，又被任命为五口通商大臣)。这样，李鸿章就因战功而当上了江苏省的“巡抚”，开始考虑如何进攻省会苏州了。

不少人以为大清朝直隶总督兼北洋通商大臣李鸿章在洋人面前一副奴才相。其实不然，梁启超早有评说---李鸿章待人常带傲慢轻侮之色，俯视一切，与外国人交涉，尤轻侮之！

比如，太平天国战争期间，时任江苏巡抚的李鸿章对常胜军的第二任统领、美国兵痞白齐文就十分鄙视，屡屡讥讽他指挥无能，并以停发饷银以示惩戒。

但对白齐文的继任者戈登，李鸿章倒是“慧眼识英雄”，两人首次见面以后，李鸿章在当天日记中写道---英酋戈登翩然来此，此人英姿飒爽，向所未见，且颇驯谨，了无跋扈恶态，不特韬略娴习，抑且质直明达。

却说白齐文投奔太平军以后，他留在常胜军中的数十名美国教官经常闹事。戈登接任之后不多天，这伙控制着炮兵队的美国佬突然在教练场上骚乱，扬言要枪毙中国士兵，炮轰英、法教官。戈登赶到，查问带头者是谁；无人理睬。戈登厉声说，若不交出策动者，他将在每五名美国教官中揪出一个枪毙。美国佬挥拳咆哮，戈登箭步冲前，攫住一个吵得最凶的班长，下令卫兵把这厮当场枪决，哗变立马平息！

此事予李鸿章以深刻印象。

紧接着，在攻打常熟的激战中，戈登指挥得法，身先士卒，打了场大胜仗；而贯穿整个战斗过程，戈登始终不带武器，只握一根手杖，常胜军士兵视之若天神。

缘于这场大战，李鸿章向朝廷保奏戈登为总兵官，领二品武官衔。

戈登与李鸿章交恶，因“苏州杀降”而起。

关于这一事件，当时上海、香港、伦敦的报纸均作了连篇累牍报道，但其中很多是谣传，比如说戈登手执左轮手枪，要击毙李鸿章，就实无其事，戈登的绅士作派要比这厉害而且高明得多---戈登向英国驻上海军方打了报告，要求逮捕李鸿章，以灭绝信义的罪名把他撤职查办，并把苏州交还给太平军！