他在率军东来之后，接连派遣几支游骑部伍率先而来，对唐军先锋进行扰击阻挠，稍作接触之后便佯装不敌而向后退去。如是几遭，便让唐军先锋心生骄念，认为此间敌军战斗力低下、不堪一击，接下来的行军推进便心生松懈，不再像一开始那样谨慎小心。
接下来，斛律平亲率大队人马徐徐向兖州城行进，但却另遣两千精骑绕道后方，以自己与大军为诱饵、诱使唐军先锋轻率冒进，并以伏兵痛击其尾，直将这一路三千多名唐军先锋杀得大半而归，斩首千余。
唐军主将韩雄得知前锋惨败之后，心中也是一惊，同样不敢再作托大之想，勒令分散在河南诸郡县之间扫荡贼寇的各路人马向其所在中军集结，待到汇同诸路人马之后，再一起向兖州城推进。
此时，斛律平早已经趁着之前那场胜利的势头、率领部伍加速行军，抵达兖州城后又快速修整城防，等到唐军大部队抵达兖州城下的时候，所面对的俨然已经是一座城防完备的坚固城池，只能停在兖州城下，进行各种攻打坚城的准备。
当高湛在青州得知斛律平首战告捷，并且成功防守住兖州城、将唐军拒于城外的时候，一时间也是不免笑逐颜开，连连赞叹道：“斛律不愧定国将门，老将年近八旬，犹能统兵克敌，当真壮哉！但使国中人人都能如此忠勇，羌贼安能夺我六州啊！而今只需拒敌兖州，待贼师老无功，必然引兵退去，兵危自解！”
之前高湛准备派遣心腹和士开前往光州督造大船，准备见势不妙便继续向东撤离、乘船退往海上。可是现在斛律平老将发威，暂时稳定住了局势，他便暂停这一计划，转而又派遣和士开前往兖州、代表自己嘉奖斛律平，直接将斛律平任命为太师。
而且高湛还准备与斛律平联姻，只不过斛律平儿女俱已婚配，孙子孙女则因晋阳陷落而流落关中，一时间找不到一个合适的联姻对象。
在思忖一番后，高湛干脆让自己的皇后胡氏认了斛律平为父、并且改姓斛律，总算是达成了联姻的意图，给斛律平安上了一个国丈的身份。
当河洛方面的唐军被暂时阻拦在兖州境内的时候，扬州总管若干凤所率领的两万淮南师旅也渡过了淮河，向着北面州郡推进而来。
不同于河南的纷乱，淮北州郡还保留了一些北齐的人事编制。诸如宿预、下邳等地，尽管北齐朝廷已经不复存在，然而这些郡县官员们仍然奉行齐制，各自据守城池，不肯开城投降。
倒不是因为这些城池中的官民对于北齐有多么忠诚，而是这一片