部和宣润州兵围攻嘉兴，接着包围杭州，一举消灭镇海军，吞并江南西道的大片土地。自己凭借着军功也能如同安仁义所说的混个一州刺史之类的官当当。谁知道后面杨行密竟说由于宣武朱温在西面和北面对淮南的压力增大，而且武昌节度使杜洪附和朱温，截取通往朝廷的南方各镇贡奉，并且引兵进逼黄州新近归附淮南的土豪吴讨，朱温的养子朱友恭也统领大军与之联合，前段时间淮南扩张过度的后遗症暴露出来了，杨行密不得不统领本部主力回到广陵坐镇。
可是让吕方恼火之极的是，杨行密回到广陵，并没有在宣润二州兵和剩余的淮南本部军队中任命一人统一指挥，甚至在主力撤退，明显钱缪已经消灭了董昌主力，即将有镇海大军反扑的时候，不是先夺取嘉兴，把两部分淮南军连成一气，而是让安仁义带领润州兵去进攻婺州（现在浙江省金华市一带），吕方当时便在帐中表示反对，并且对安仁义苦苦劝谏说让其回信杨行密应首先攻取嘉兴，然后再进图杭州，在夺取杭越二州前，不要分散兵力去攻打浙东其他州府。可安仁义贪图婺州富庶，也不愿意出言违背杨行密的军令，没有接受吕方的意见。
众将从没有看过吕方这般失态，都不敢出言劝谏，互相对视一番，纷纷使眼色让跟随吕方最久的吕雄出来说话。吕雄无奈，只得上前说道：“将军，杨王统兵西向，也许有他的意思呢？我等为人部下，只要听命行事也就是了，何必如此生气。“
“杨行密还不就是看到杜洪，钟传等人地势重要，力量薄弱，可以吞并，而且吞并了那边就离中原更近一步罢了。可是从另外一个方面来看，杜洪、钟传实力虽弱，但一旦淮南军进逼，便会迫使其抱团自卫，甚至倒向朱温，何况武昌乃江汉交流，天下枢纽，纵然夺取，如果兵力不足，也无法固守，如果我等不进逼，他们便会依靠我等去抵抗朱温的进攻，这样淮南的西面便得到了保护。而吴越之地就不同了，位处淮南下游，江河相连，本就是一个经济区域，如今钱缪和董昌自相残杀，正是夺取的好时机，更重要的是，并无其他外援与之接壤，如淮南全力进攻，必能取之，夺下后便是杨王的本土。那时以两浙的钱粮养淮泗之士，方能和天下群雄争霸。”说道这里，吕方意味深长的对帐中众人说道：“天下逐鹿，若是你力量不够，就算是鹿到了手，也会被别人夺去，实力不够，离中枢越近反而有害。”
“那如今我等该如何是好呢？”陈五倒是对吕方方才说得没什么兴趣，毕竟这些离他还远得很，眼前的战局对他才是最重要的。”