李渊率雄师循汾水进军，到了贾胡堡，距霍邑五十余里。这时，连日阴雨，军队受阻不能进步，并且军队缺粮。特别是有传言说刘武周结合突厥将进犯太原。这时。裴寂等以为：宋须生、屈突通连兵据险，不易处理；李密大要上承诺结合了，但靠不住。突厥贪而无信，唯利是图，结合刘武周进犯是能够的，将士家眷都在太原，太原职位很首要，“不如还救底子，更图后举”。李渊同意后命令退兵回太原。