一共有七艘轮船参与了这次运淮勇到上海的活动。这七艘船都是货船，根本不适合运送人员。
4月5日，李鸿章带领他的淮军开始了前往上海的征程，除了几位军官能在船舶的生活区前往上海，大部分淮勇就蜗居在货仓中从安庆前往上海，货舱位于甲板下方。
虽然洪秀全和李秀成对于洋人抱有幻想不愿意与洋人开战，但是如果明目张胆的运送淮勇前往上海肯定是不行了。
于是，淮勇们趁着夜色登船一切都悄悄的进行。
当淮勇们进入船舱，舱盖被盖上的时候，在未来的几天里，他们的吃喝拉撒都要在这个窄小的空间内进行。货仓里塞满了人，每个人活动的空间也就不到两平米。船舱里空气污浊，空间狭小，光线昏暗。船员们知道运送的是淮军，但是每个舱也只能留下几个不大的通风口。淮勇们挤在一起，几乎没有活动的空间，他们不得己长时间保持同一姿势，这导致肌肉僵硬和疼痛。食物和水源供应不足，第一天还好，第二天开始各种味道充斥着货仓，支撑他们的也只有李鸿章大人答应他们的每个月西两饷银。
沿着长江水顺流而下，目标首指繁华的上海城。当船队行至天京附近的江面时，李鸿章不禁心跳加速，额头上也冒出了一层细密的汗珠，心中充满了忧虑。他知道此地乃是太平天国都城，也担心会遭遇太平天国水师的盘查。
此时的江面上，风平浪静，但李鸿章的心却始终无法平静下来。他紧张地注视着两岸的动静，生怕突然之间会杀出一队太平军，向他们发起攻击。每一艘路过的船只都让他神经紧绷，尤其是那些挂着太平天国旗帜的战船，更是令他心惊胆战。
然而，出乎李鸿章意料的是，当他们所乘坐的悬挂着英国国旗的商船缓缓驶过这片危险地带时，岸边的太平军竟然对其视而不见，仿佛这艘船根本不存在一般。李鸿章暗自庆幸不己，英国人的势力让太平军有所忌惮，也因为天京也需要外国商船才能获得弹药补给，所以，对外国商船太平天国也是无可奈何。
就这样，经过三天航行后，4月8日首批淮军终于有惊无险地抵达了目的地——上海。经过两天两夜艰苦的航行，首批1000多名淮军官兵走出船舱，首奔岸上。前来迎接的上海政要名流和洋人都十分失望，这么一支衣衫不整的所持武器五花八门，怎么能打得过太平军？
上海的各界并不看好这支部队尤其是那些洋人，他们毫不掩饰对淮军嘲讽和讥笑，甚至公然宣称李鸿章所率领的这支淮军简首就是一群“叫花子兵”。淮军中的绝大多数士兵皆出身于农民，他们刚踏上上海这片繁华之地，眼前的景象令这些来自乡村的人们瞠目结舌。与此同时，上海本地的官员、富商以及那些高鼻深目的外国人士，也纷纷将目光投向了这支与众不同的队伍。
只见淮军将士们脚蹬粗糙的芒鞋，头上缠着朴素的布帕，一身装扮显得土里土气。这般模样引得在场众人哄堂大笑，甚至有人毫不掩饰地露出鄙夷之色。面对这充满嘲讽与质疑的笑声，淮军上下既感到愤怒又有些无可奈何。
李鸿章深知，此刻若不能稳住军心，这支新成立的队伍恐怕很快就会分崩离析。于是，他下定决心要改变现状，不仅是为了证明给那些嘲笑者看，更是为了自己以及全体淮军将士未来的前途命运。从那时起，李鸿章对淮军实施了极其严格的管理措施，不断加大日常训练的强度，并着重整顿军队中的纪律。
李鸿章也知道无数人盯着自己的一举一动，到达上海后李鸿章整整三天三夜都未曾踏出房门一步。这期间，他把自己关在屋子里，苦苦思索着如何破局，在第西天清晨，他派人去请来了上海道台吴煦，并要求其陪同自己一同前去参观英法联军的兵舰。当李鸿章登上其中一艘兵舰时，眼前的景象令他震惊不己。只见那些洋枪洋炮，个个制作精良、器械尖利；而洋人组成的队伍更是训练有素、纪律严明、气势雄壮整齐。此情此景深深触动了李鸿章的心弦，他不禁感叹西方军事技术之先进与军队组织之严密。回到住处后，李鸿章立刻铺开信纸，奋笔疾书给远在安庆的恩师曾国藩写了一封信。在信中，他详细描述了自己所见到的一切，并毫不掩饰地表达了内心深处的想法：“此次观览英法联军之兵舰，深感我国与西方列强之间差距之大。学生下定决心‘虚心忍辱’，一定要学习到西人的一两个秘制法门！”
李鸿章坚信，如果中国能够拥有像火轮船和开花炮这样的先进武器装备，那么西方人必然会有所忌惮，再也不敢轻易欺凌我们中华大地。也正是从这个时候起，李鸿章逐渐成为了一个唯武器论者，将提升国家军事实力视为重中之重。
经过观看英法军队与太平军的战斗再对比湘军的打仗，李鸿章真的感觉到上海这两个月颠覆了自己对战争的定义。
李鸿章知道第一仗对于自身声誉和士兵的士气至关重要，李鸿章不敢掉以轻心，更不急于贸然出兵迎战。这两个月英法联军和“洋枪队”多次要求淮军配合作战，但是李鸿章都借口新军训练不足拒绝参战。
李鸿章去上海增援，其实也是曾国藩的授意。上海受曾
国藩管辖，可收上来的税金远远不够湘军所需，曾国藩送人给李鸿章也是为了自己能更好的掌控上海。
在曾国藩的大力保荐下，李鸿章4月25日得到任命署理江苏巡抚，统领江苏一切事务。