攻城的匈奴人有了由盾牌组成的防护墙，汉军的弓箭就难以发挥作用了，看到了这种情况，耿恭让士兵们暂时不要射箭。
借着盾牌的掩护，匈奴人并没有太费力气就到了城墙下。可面对直立的城墙，他们只能采用搭人梯的方式，一个人踩着另一个人的肩膀，踩到第四个人时，一只手是扒到了墙头。可这个时候，匈奴人手中的盾牌用不上了，正可以让汉军的刀箭发挥作用。
于是，人梯变成了送给汉军的祭品，还有用带铁勾子的绳索，投到城墙上，固定住了后，抓住绳索往上爬。只是有的刚爬了一半，被汉军砍断了绳索，摔碎在了地面上，就算是爬到了城墙上，一个或几个也形成不了威胁，只能是白白送死。这样的攻城人再多也用不上，结果简直就是自取其辱。终于，左鹿蠡王下达了收兵的命令，让还活着的人拖着上百个死人回到了不会被弓箭威胁到的安全地带里。
这样的攻城，虽然匈奴人死伤惨重，但汉军要想做到一点损失没有，也很难。他们的人难以上到城墙上来，可射出的箭飞得上来。匈奴人也有一支弓箭队，紧随攻城队之后，朝着防守的汉军士兵发射。匈奴士兵强大的臂力弥补了弓箭的缺陷。虽然没有能攻到城头上，但还是有十来个汉军士兵倒在了射来的冷箭下。
看来硬攻这个方法是不行的。左鹿蠡王就在疏勒城的南面和西面的土坡开阔处扎下了营地，与疏勒城形成了一个对峙的局面。这样一个局面对左鹿蠡王来说并不坏。
作为游牧民族，有草有水的地方，就是家。按说离家几百米远就有敌人活动，有些不方便。可这股敌人的数量，除了阵亡的，耿恭部实际上已经不足五百人，实在对有两万多人匈奴大军构不成威胁，左鹿蠡王倒是希望城里的敌人能跑出来捣乱。
可以说如果没有这座城堡的庇护，匈奴会分分钟把这股汉军灭掉。要知道不久前，耿恭麾下大将刘升所率领的三百个汉军从疏勒在增援途中遇到匈奴骑兵的围攻，全体阵亡的结果足以让耿恭和左鹿蠡王两位将领都明白了，各自的劣势和优势是什么。这就注定了疏勒之战是一场不会很快结束的战斗！交战双方心里都很明白，耿恭和左鹿蠡王都做了最坏的打算。
既然不可能很快结束战斗，左鹿蠡王也就没有那么着急了。猎物已经堵到了山洞里，着急往山洞里钻，必会被猎物所伤。等着猎物出来再收拾它，是个最好的办法。他已经认真地察看了四周的地形，汉军守的这座城是一座孤城，确实很难进攻，但同时，汉军也断绝了自己的退路。