李秀成没有听取黄达平立即进攻的建议，八万大军陪着果兴阿跑了几十里路已经疲惫不堪，而清军已经休息了快两个时辰，现在可不是进攻的好时机。清军至多也就两千人，李秀成与陈玉成以四十倍的兵力围攻，也不需要急于一时。而且清军的防御部署，在李陈二人眼中也有些儿戏了，想来被困的清军已经吓破了胆，开始举动慌乱。
清军虽有继续加固山顶的防御，有些依山凭险的意思，但清军还分了一半的兵力下山，开始在龙虎营村里布防。龙虎营的确可以和山上的清军阵地连为一体，但地势平坦的村庄非常利于太平军进攻，不但没有什么效果还分散了清军本就捉襟见肘的兵力。如果清军集中全部兵力固守山顶或许还能坚持的久一些，这样莫名其妙的分兵实在是一大败笔，李陈二人心里对果兴阿又看低了一分。
清军也设立了拒马和鹿角之类的屏障，但是他们却没有好好利用村里的房舍，反而大肆拆毁房屋，到处挖掘沟渠。太平军诸将没人搞得明白清军在闹什么玄虚，这个时候还拆房挖沟实在是匪夷所思。
太平军搞不清楚清军在干什么，山顶的果兴阿却很清楚，他没被李秀成吓疯，他要求生。既然不能突围，那固守待援就是他唯一的选择。清军占据了山顶，可山顶地域狭小不足以展开兵力，而且树木也会影响清军的火力发挥。而且如果给太平军占据了山下的龙虎营，龙虎营就会成为太平军的进攻据点，有了房屋之类的掩护，太平军更容易抵近清军阵地。而清军下山占领龙虎营，就可以形成从龙虎营直至山顶的立体防御阵地，把整个山坡都拓展为清军的阵地。虽然兵力摊薄了一些，但是阵地纵深有了极大的拓展，也可以全面发挥清军的火力优势。龙虎营阵地发生战斗的时候，山上阵地火力可以覆盖整个战场，火力并没有减弱。
灵岩山只有龙虎营一处较为平坦，其他三面都没有道路，而且极为陡峭，清军分一个排出去就可以封死三面，所以战场只有一处就是龙虎营。太平军得龙虎营则清军被逼上山顶，必然命不久矣。清军据守龙虎营，则可以火力全开，固守待援。
李秀臣和陈玉成之所以没看出龙虎营的重要，当然不是两个闻名海内的宿将不如果兴阿，而是因为思维模式的关系。李陈二人都是冷*交替时代的人物，他们的思维模式更多停留在冷兵器时代，果兴阿考虑的火力延展、射界、遮断射击之类的名词，二位听都没听说过。他们习惯性的冷兵器思维中，山顶清军想要支援龙虎营必须派人下来，而果兴阿从山上支援下来的是炮弹和子弹。