袭任晋王
天祐五年（908年），李克用病逝。李存勖继任河东节度使，袭封晋王，时年二十四岁。当时，李克用的养子李存颢、李存实等人自恃手握军权，又年长于李存勖，对李存勖袭位非常不满。他们有的称病不朝，有的见而不拜，甚至怂恿叔父李克宁发动叛乱，意欲谋害李存勖，投降后梁。李存勖沉着应对，首先取得监军张承业、大将李存璋等人的支持，而后抢先行动，在府中埋伏甲士，擒杀李克宁、李存颢等人，初步稳固了国内政局。
是年四月，李存勖亲自率军援救潞州，于二十九日抵达潞州北面的黄碾（在今山西长治）。梁军本以为李存勖年轻继位，必然不敢出军，对此毫无防备，也未派出斥候探查。五月初二，李存勖伏兵于三垂冈下，趁着大雾直攻夹寨，出其不意的大破梁军，彻底解除了潞州之围。经此一战，晋国兵威大振。不久，李存勖返回太原，犒赏军士，而后开始整顿内政。他严肃军纪、抚恤孤寡，任用贤才，惩治贪腐，宽缓刑罚，打击盗贼，使得晋国民俗大变，百姓归心。
天祐七年（910年）十一月，朱温遣军三千进驻深州、冀州，企图夺取成德、义武两镇。成德节度使王镕、义武节度使王处直先后遣使向李存勖求援，表示愿与晋国结成反梁同盟，共推李存勖为盟主。李存勖力排众议，毅然发兵相救。他亲率晋军东进，于是年十二月进至距离柏乡五里处的野河（今滏阳河支流）北岸，与梁军隔河对峙。
天祐八年（911年）正月，李存勖命周德威率三百精骑到梁军营前挑战，激怒梁将王景仁，将梁军诱至鄗邑以南的平原旷野地带。他利用地形优势，以逸待劳，在梁军疲惫时率骑兵突击，大破梁军，俘获梁军将校二百八十五人，斩首二万级。此战，梁军伏尸数十里，龙骧、神威、神捷等精锐禁军全军覆没，王景仁、韩勍、李思安仅率数十骑连夜逃归。成德镇、义武镇从此彻底倒向晋国。