后晋开运四年（947年）正月一日，契丹进犯京师，俘虏了后晋少帝石重贵北去，后晋灭亡。二月一日，耶律德光具办汉族的礼制衣服，登上崇元殿接受朝拜，诏令改晋国为大辽国，大赦天下，称年号为会同十年。
刘知远遣牙将王峻向契丹奉表投降，耶律德光诏令褒扬嘉奖，称刘知远为儿子，并赐给一根木拐。按契丹的礼法，贵重的大臣才能得到这种赏赐，就像按汉族礼仪赐给假节一样。王峻拿着木拐，契丹人望见他都纷纷到路边避让。王峻回来后，对刘知远说契丹政治混乱，一定不能攻占中原，于是便商议建国。
这时，秦州节度使何建归降后蜀。后晋开运四年（947年）二月十二日，河东行军司马张彦威与他的文武将吏等，认为中原没有主人，刘知远的威望日益隆盛，众心所归，写信劝他登上帝位，刘知远谦让不答应，此后众官三次上书，诸军将吏、贵臣耆老，一个接一个地恳切陈请，才发布文告应允。十五日，刘知远看准时机，在太原称帝，建立了后汉政权。
他没有马上改国号，但弃开运年号，而延用石敬瑭的年号，称天福十二年。接着，刘知远下诏禁止为契丹括取钱帛；慰劳保卫地方和武装抗辽的民众；在诸道的契丹人一律处死等等。于是晋朝旧臣纷纷投诚归附。
契丹在中原人民抗击下退出后，天福十三年（948年）六月刘知远进入开封并建都，改名为暠，改国号为汉，改天福十三年为乾祐元年，蠲免赋税，大赦天下，称帝。
刘知远果断采纳了皇后李氏的建议，一改过去靠括民财犒军的惯例，而是拿出宫中所有财物赏赐将士，果然深得人心。契丹军进入中原后，到处以“打草谷”的名义掠夺财物、杀害无辜百姓，中原地区人民反抗不断，耶律德光被迫北撤，留萧干守卫汴京，刘知远看准时机，采纳了郭威“由汾水南下取河南、进而图天下”的正确建议，命史弘肇为先锋，举兵南下，一路势如破竹，所向无敌，很快拿下了洛阳和汴京。
刘知远稳定中原局势后，令魏州的杜重威移镇归德（今河南商丘南），与原归德节度使高行周对调，杜重威抗命不从，刘知远令高行周与慕容彦超率军讨伐杜重威，杜重威誓死守城，汉军日久无功，刘知远恐生他变，亲自来攻，死伤甚巨。
刘知远见强攻不克，多次遣人招降杜重威，许以不死，此时魏州粮草用尽，城中将士多逾城逃亡，十一月二十七日，杜重威出城投降，刘知远言而有信，没有杀杜重威，封其为检校太师、守太傅、兼中书令、楚国公。至此，中原基本上平定。
乾祐元年（948年）正月，刘知远因伤长子刘承训之死而病重，召史弘肇、王章、苏逢吉、郭威等人托孤，临终前，刘知远认为杜重威反复无常，于是授意托孤大臣除掉他。随即驾崩，时年54岁，谥曰睿文圣武昭肃孝皇帝，庙号高祖，葬于睿陵。其子刘承祐继位，是为后汉隐帝。