韦孝宽想要提前返回关中，之前便已经跟李泰沟通过，而李泰得知这一想法后也颇感意外，因为他本来打算安排韦孝宽留守江陵的。
在韦孝宽的发声表态下，陆通也是心绪略定，点头同意了李泰的这一提议，算是敲定此事。
宴会结束之后，陆通自然忙于前去游说诸将，而李泰又将韦孝宽留下来，再作劝告道：「前事虽言问心无愧，但终究有悖宇文太师心意。眼下太师余怒未已，建忠公便急于返回，恐怕仍然难免要遭迁怒啊！」
韦孝宽听到这话后便作叹息道：「末将亦知大王此言多存庇护之意，亦知太师恐怕不会就此善罢甘休。孝宽一身得寄大王麾下自是荣幸至极，然则父老乡亲终究根在关中。若末将滞留不归，宇文太师恐怕更增忿怨。
今者归去待惩，外有大王并行台诸君当事分权，内有关西父老民情需待平复，纵然末将一身不受礼遇，想亦不会大加刑罚。况且大王如今立足山南亦是权宜之计，若欲得逞壮愿，终究还是需要返回关中执掌局面。末将今且告别，守于栅栏之内以待大王归朝！」
李泰不想让韦孝宽返回关中，除了希望留之听用此间之外，也是担心他返回之后或会遭受宇文泰的迁怒惩罚。
但韦孝宽这么说倒也不是没有道理，其人可以说是关中当地豪强的代表人物，其身上的乡土属性又比久处洛下的弘农杨氏浓厚得多。
而且宇文泰已经搞掉了一个杨宽，如果再把韦孝宽也干掉的话，那就等于是要将关陇代表人物给团灭的节奏，那些府兵将士们再怎么一盘散沙，怕是也要惊疑不定，哪怕不敢在关中揭竿而起，带领部曲逃出武关来投奔李泰那也是显而易见的一个选择。
从这一点而言，韦孝宽此时返回关中倒也不失为一个好的选择。哪怕其人已经丧失了宇文泰的信任，但是凭其军事才能以及对于乡土的道义和感情，将之摆在玉璧这样的地方也是比较合适的安排。
既然韦孝宽仍是作此坚持，那李泰也就不再多说什么了，只是向韦孝宽表示如果有什么人事物资上的要求尽管提来，他这里也会尽量满足。
韦孝宽倒也没有什么要求，江陵之战结束后，他所获得的奖赏也是极为优厚，并其麾下士卒们都是收获满满。而且此番返回关中仍有几分吉凶未卜，携带太多资货也太扎眼。
至于人事上那就更加没有什么要求了，毕竟就连李泰这里都各种才力告急，也没有闲余的人力可以支援韦孝宽，反而韦孝宽帮自家兄弟韦孝固和一些亲友在李泰的行