杨坊等白齐文走后立马去找吴洵，吴洵听到白齐文竟然殴打朝廷命官抢劫库银于是向杨坊说道：“这么大的事情不是你我能做主的，我们还是禀告李鸿章李大人吧。”吴洵说罢拉着杨坊就去找李鸿章。
李鸿章听完杨坊的控诉，一拍桌子站起来说道：“简首无法无天，我立马写折子参他！”
虽然李鸿章可以节制白齐文的常胜军，但常胜军首领的任免必须通过朝廷。
当李鸿章的参劾折子到了慈禧的面前，慈禧心想，现在自己不可能做到令行禁止。现在一心一意的巩固北方，南方就让他按历史发展吧，自己一定把握住同治中兴一定可以让中国不再受列强欺负。
于是慈禧下令让李鸿章将白齐文就地革职。
1862年3月16日，华尔正式接受了清廷的招募，名义上不再受上海士绅的雇佣，清政府命名洋枪队为“常胜军”。到现在9个多月的时间里，李鸿章明里暗里往常胜军安插了不少人。加上英美法各方势力在洋枪队内部也是错综复杂，所以，当吴煦拿着将白齐文革职的命令到常胜军宣布的时候，白齐文才知道自己虽然是一个副将但也是一个小角色。军营中的大部分人漠然的看着白齐文被革职。
白齐文失意的走出军营他心有不甘啊！自己也为清廷卖命了三年时间，对，我要去北京告申冤御状！李鸿章就是想借太平军之手灭了我，对于如此反人类的命令我拒绝是应该的。欠我军饷还有理了？我要去北京讨个说法。
白齐文就找到美国、英国驻上海的领事想看看有没有军舰去天津。然后再去北京。
李鸿章听说白齐文西处活动还想去北京告状，不由得火冒三丈于是吩咐吴洵道：“这个白齐文，我本想放他一马，他还不知好歹，令你悬赏50000两白银通缉白齐文。他己经是我国民众，殴打朝廷命官，抢夺库银己是叛逆，下令拘拿严办。”
吴洵领命然后通缉白齐文的布告贴满上海，此事瞬间引爆了上海的舆论，一时间各种说法都有。
如果李鸿章悄悄的缉拿白齐文英法就装作不知道了，但是布告一出全上海的目光都被白齐文吸引，若李鸿章真将白齐文判刑甚至按照清朝的律法将白齐文正法，英法在上海的威信会打折扣。
白齐文看到布告之后，就通过关系逃到了美国使馆。当时，英国海军和美国领事馆竟然沆瀣一气，以白齐文先前负责经办的军火账目还没有彻底清算清楚这样一个借口，并态度强硬地拒绝向清廷交出白齐文。而李鸿章也不敢带兵拘捕白齐文，剿灭太平军的枪支弹药全靠外国进口，一旦冲突升级对自己没有一点好处。这一事件让李鸿章又一次明白自己国家的孱弱，李鸿章握了握拳头，心里暗暗发誓，要办自己的军事产业，要富国民强！
此时的常胜军虽然名义上归清政府，但实际确归英国管理。白齐文解职后，英国派出现役连级军官奥伦代管常胜军，李鸿章则派他的亲信、抚标中营副将李恒嵩会同管带。谁也知道奥伦干不久！这个在英军里只是连长，不可能一下子让他指挥六千人。这只是一个过渡。
常胜军应该控制在谁的手里？各方势力又开始了新的一次角逐。
李鸿章审视着常胜军近来的种种表现，这支军队俨然一副谁也不能把我怎么样的架势，平日里骄横跋扈，大有尾大不掉之势。他们每个月耗费的银两竟然高达七八万两之多！借白齐文抢夺库银的事情，李鸿章深思熟虑之后，他决定趁机全面整顿常胜军进而控制常胜军。
于是，李鸿章开始与英国领事麦华佗以及陆军司令士迪佛立展开一轮又一轮的谈判。
谈判的结果：首先，明确要将常胜军的规模大幅裁减至仅仅 3000 人。并且如果未来出现税收短缺导致饷银无法正常发放的情况，那么人数还可以进一步削减。其次，对于外国管带的权力也做出了明确限制，规定其必须接受巡抚的节制和调遣，不得擅自行动。再者，对士兵们的饷银标准进行了规范，确定每人每月固定为三两银子，并坚决删除以往那些名目繁多、虚浮的款项。此外，协议还强调由中国官员负责管理士兵们的口粮供应以及军装、火器的发放工作。同时，对于松江城内外的地方事务，外国军人军官明令禁止插手干预。若确有诸如开路或者修筑炮台之类的需求，也必须事先与当地的地方官协商一致方可施行。最后，关于军火采购方面，更是规定得极为细致，要求所有购买行为都必须经过巡抚的批准，而管带官绝对不允许私自购置。至于惩罚勇丁这样的事情，则需要听取并会同管带官的意见来共同处理。
这样，李鸿章对常胜军的控制权又一次加强了。但常胜军仍然受到了外国侵略势力的操纵！其中的一条规定便是：若该军要前往距离自身营地一百里之外去攻打敌方的城池，必须提前与英国和法国进行商议；外国军官的任用和解职这样重要的人事决策，也需要经过双方共同审议才能做出决定。
李鸿章看着和英法签订常胜军管理约定，心里还是挺美的，只要武器钱粮抓在自己手里，这支部队就是自己的部队。