李存勖出身于西突厥沙陀部，本姓朱邪，世为沙陀酋长。祖父朱邪赤心因镇压庞勋兵变有功，被唐朝皇帝赐为李姓，编入宗室谱籍。父亲李克用，官至河东节度使，封晋王，驻节太原，建立河东割据势力（晋国）。当时，梁王朱温盘踞宣武镇（治所汴州，在今河南开封），控制中原地区。李克用与朱温为争夺中原霸权，进行了二十余年的梁晋争霸战争。
李存勖是李克用与侧妃曹氏所生，自幼便善于骑射，胆略过人，心性豁达，深得父亲宠爱。他爱读《春秋》，略通微言大义，而且精擅音律，可谓文武双全。
早年经历
乾宁二年（895年），邠宁节度使王行瑜联合凤翔节度使李茂贞、镇国节度使韩建，攻入长安（治今陕西西安），谋废唐昭宗。李克用率军勤王，讨平三镇叛乱。李存勖时年十一岁，也随军征战，并入朝献捷，受到唐昭宗的夸奖与赏赐。不久，李存勖被授为检校司空，遥领隰州刺史，后改领汾州、晋州。
天复二年（902年），李克用因太原两次被梁军围困，无力抗衡朱温，为此忧虑不安。李存勖劝慰道：“物不到极点不会反复，恶不到极点不会消亡。朱温威逼天子，觊觎帝位，陷害良善，可谓是自取灭亡。我家三代尽忠王室，如今虽因势穷力屈无法报效，但也无愧于心。父亲您应忍耐静观，积蓄力量，以待朱温衰弱之时再图复兴，怎能轻易就灰心丧气呢。李克用因而释然。
天祐三年（906年），朱温遣军攻打沧州（本属横海镇，时为幽州镇治下），幽州节度使刘仁恭遣使向李克用求救。李克用恼怒刘仁恭的反复无常，不愿发兵援助。李存勖却道：“如今朱温已占据天下的九分之七，连魏博、成德等藩镇也归附于他，黄河以北能与之对抗的只剩下我晋国和刘仁恭了。如果我们不救刘仁恭，形势将会对我们更加不利。而若出兵援助，可使我晋国重振雄风，万不能因嫌怨而失此良机。”李克用遂遣军攻取潞州（治今山西长治），迫使朱温由沧州撤兵。
天祐四年（907年），朱温篡唐称帝，建立后梁，史称梁太祖。他改元开平，定都于汴州。但李克用拒不承认后梁政权，仍沿用唐朝天祐年号，以复兴唐朝的名义与后梁相对抗，成为后梁北方最大的威胁。是年五月，朱温派十万兵马围攻潞州，修筑夹寨。李克用命周德威援救潞州。但周德威与梁军对峙年余，却始终不能解除潞州之围。