李渊像
公元617年初夏的一天夜里，李渊命令长孙顺德、赵文恪等人带领500壮士，和李世民的精兵一起埋伏于晋阳宫城外，严密封锁。第二天清晨，李渊与高君雅、王威在留守府大厅议事。按照计划，刘文静召鹰扬府司马刘政会入厅，说：“有密状，知人欲反。”李渊故意让王威先看，但是刘政会不给，并说：“所告乃副留守事，唯唐公得视之!”李渊接过密状一看，是控告王、高暗引突厥入侵。王、高正待辩解，刘文静与长孙顺德、刘弘基等将王威、高君雅逮捕入狱。事也凑巧，第二天果然有突厥数万人进攻晋阳，民众以为是王、高所致，于是李渊趁机杀掉高君雅、王威。这标志着李渊父子正式开始晋阳起兵。
晋阳起兵后，李渊父子的目标就是乘虚入关，直取长安，以号令天下，建立新的王朝。在长安(今陕西西安)的统治者听说李渊带兵进攻，忙派大将宋老生和屈突通分别领兵数万，在霍邑与河东抵抗李渊大军。
大业十三年(公元617年)七月，李渊率军进攻宋老生驻守的霍邑，却逢秋雨连绵，无法开战，而且道路泥泞，军粮运输困难。相持数日，眼看军粮将尽，李渊准备退兵，李世民劝阻道：“今兵以义动，进战则克，退还则散；众散于前，敌乘于后，死之无日。”听了李世民的意见，李渊决定不撤兵。