唐天祐四年四月十八日（907年6月1日），朱全忠废黜唐哀帝，自行称帝，国号梁，年号开平，史称后梁。后梁疆域是五代中最小的，辖地包括今河南、山东两省，陕西、湖北大部，河北、宁夏、山西、江苏、安徽等省的一部分。
除剑南王建，淮南杨行密，晋北李克用，陇西李茂贞，辽东刘仁恭不奉后梁为正统；其余的割据势力大都向后梁称臣，并接受其册封：岭南刘隐受封大彭郡王；湖南马殷受封楚王；闽南王审知受封琅琊郡王；江南钱镠受封吴越王；河北王镕受封赵王……
朱全忠当上皇帝后次年他的头号敌人李克用就病死了，其子李存勖继晋王位。李存勖继位之时，潞州已经被梁军围攻了一年有余，形势非常危急。李存勖利用梁军以为他正忙于丧事，戒备松懈之机，亲率大军，直扑潞州，打破了梁军围攻潞州而修筑的夹寨，斩梁军统帅符道昭，梁军大败，死亡万余人，委弃的资粮、军械，堆积如山。
此战对梁晋两方关系都很大，如梁军获胜，等于打开了河东的门户，可以直攻晋的首府太原；如晋军获胜，不仅可以巩固河东的南境，而且向南可以威胁梁的统治中心——河南地区。朱全忠听到夹寨被攻破的消息后，大惊失色，感叹地说：“生子当如李亚子，我子豚犬耳！”亚子是李存勖的小字。
然后李存勖着手整顿松弛的军纪，发展农业生产，减轻赋税，优抚孤寡，稳定内部秩序，选用人才，整军备战，使河东境内面貌焕然一新。
这一时期后梁内部却接连发生变故，义武节度使王处直、成德节度使王镕，因朱全忠处心积虑地削除异己而举兵反梁，并且投靠李存勖，推其为盟主，共同反梁。朱全忠听信谗言，杀死佑国节度使王重师，并诛灭全族，大将刘知俊疑惧，遂在同州举兵造反，与李茂贞联合，共同讨朱。
朱全忠还妒贤嫉能，借口马瘦斩杀了屡立战功的骁将邓季筠；又以违抗军令罪，处死了大将李重允、李谠；宿将氏叔琮、养子朱友恭，因参与杀害唐昭宗，朱全忠为推脱罪责，将他们处斩；朱珍是其著名的战将，朱全忠寻故杀之，诸将苦苦求饶，被朱全忠赶出；李思安本为朱全忠爱将，因故被贬后，心怀不满，也被处死。后梁内部矛盾激化，极大地削弱了实力。
开平四年（910年）十一月，朱全忠派大将王景仁率大军讨伐成德王镕、义武王处直，晋王李存勖亲率大军增援。次年，两军在柏乡（今河北高邑县境内）相遇，后梁军队铠甲鲜明，缕金挂银，光彩耀日，晋军望见颇有惧意。
晋大将周德威鼓励将士说：“梁军为汴州天武军，皆为市井之徒，衣甲虽鲜明，然战斗力极差，十不能挡汝一，希望大家努力作战，擒获一人，足可致富，此乃奇货，机不可失！”晋军斗志昂扬，士气大振。周德威先派小股部队袭扰梁军，待其疲惫困乏之时，全力出击，大败梁军，死尸蔽野，抛弃的军资器械不计其数。柏乡之战是梁晋争衡的转折点，此战之后，战略主动权转移到晋军一方。
乾化二年（912年），幽州刘守光（刘仁恭之子）进攻成德、义武，李存勖率大军赴援。刘守光担心不是敌手，遂向朱全忠求援，朱全忠为报柏乡之仇，亲率大军攻晋，号称50万大军。昼夜兼行，至下博（今河北深州），率军5万转攻蓨县（今景县）。
其时晋军主力北攻幽州，南方空虚，晋在赵州（今河北赵县）的驻守军以小部队骚扰梁军，晋将李存审又派数百骑兵伪装梁军，趁夜奇袭梁太祖营寨，外加被晋军释放的梁军士兵，归来后传言李存勖亲率大军来攻，梁太祖惊惶失措，遂烧营夜遁。情急之中，迷失方向，错走了一百五十多里。河北人民对梁军的残暴非常愤恨，纷纷拿起农具袭击梁军。朱全忠连吃败仗，羞愤交加，狼狈逃回汴梁，患病卧床不起。
