李渊占领长安的同时，各地起义军也不断发展壮大。除了瓦岗军之外，主要的还有窦建德领导的河北起义军和杜伏威领导的江淮起义军，不断在各地打击隋军。残暴荒淫的隋炀帝自己知道末日来到，索性躲到江都，每天和皇后、妃子喝酒作乐，醉得昏昏沉沉。
他不愿听到失败的消息，但是心里到底发慌，对萧皇后说：“听说外面有不少人想算计我，且别管他，还是快快活活喝酒吧。”
有一次，他拿起一面镜子，呆呆地照了半晌，说：“好头颅，不知道谁来砍它呢!”
隋炀帝担心的日子终于到来了。他身边的一批禁卫军兵士，多数是关中地区的人。他们眼看跟着隋炀帝没有生路，都想开小差回家。将军宇文化及利用兵士想回家的心理，发动兵变。宇文化及带领兵士，攻进行宫，派人把隋炀帝监视起来。
隋炀帝对监视的官员说：“我犯的什么罪?”
官员说：“你发动战争，穷奢极侈;相信奸邪，拒绝忠告;使男子死在战场，妇女儿童走上绝路，百姓流离失所，你还说没罪吗?”
隋炀帝说：“我确实对不起百姓，但是你们这些人也跟着我享受富贵，没对不起你们。今天这样做，是谁带的头?”
官员说：“全国的人都恨透你这昏君，哪儿是一个人带的头!”
隋炀帝这才无话可说，他自己解下巾带交给官员。这个作恶多端的统治者就这样被勒死了。统治中国三十八年的隋王朝宣告灭亡。
隋炀帝死后，东都洛阳还在隋朝的东都留守杨侗(炀帝的孙子)和大臣王世充手里。王世充把杨侗立为皇帝，继续打着隋朝的旗号，对抗起义军。
东都周围本来是瓦岗起义军活动的地区，李密曾经多次打败隋军，但是因为李密骄傲自满，跟将领们互相猜忌，在跟北上的宇文化及人马打了一仗之后，力量渐渐削弱。王世充看准李密的弱点，发起一次袭击，打垮了李密大军。李密带着残兵败将，逃到长安投靠唐朝。
王世充赶跑了李密，自以为力量强大，把杨侗废了，自立为帝，国号叫郑。
这时候，唐军已经削平了西北的几个豪强割据势力，稳定了后方。公元620年，唐高祖派李世民统率大军进攻东都。李世民大军一出关，河南许多州县纷纷投降，很快就把东都包围起来。
李世民不但善于打仗，而且善于用人。他从原瓦岗军和别的割据势力的降将中，收留了一批人。像有名的秦叔宝、程咬金、尉迟敬德(尉迟是姓，尉音yù，都成了他的得力助手。有一次，李世民亲自带了五百骑兵在阵地上巡视，被王世充发现，发动一万多步兵骑兵突然围上来，王世充的大将单雄信冲到李世民身边，用长矛直刺过来。李世民后面的尉迟敬德飞马赶上，大喝一声，把单雄信刺下马来。尉迟敬德保护李世民突出包围，两个人又带着骑兵转过身在郑军阵地来回冲杀，吓得郑兵不敢阻挡。接着，后面的唐军源源不绝地上来，把郑军打得一败涂地。