自奥托一世(奥托王朝第一任皇帝)由教宗加冕以来，每一位罗马人民的国王都希望获得皇帝名号。但由奥托一世所创建的帝国，其皇帝称号来自于教皇赋予的“西罗马的皇帝”称号，皇帝通过征服意大利来取得“罗马皇帝”的合法性。
帝国的所谓选帝侯，其直接选举的当为“罗马人的国王”，而非皇帝。因此，并非每一位德意志统治者都可以成为皇帝，只有进军意大利，接受教皇加冕的强者，才可获得这一殊荣。
神圣罗马帝国的范围，在奥图一世和后代的不断使其有地区纳入、加盟下，从日耳曼平原北至波罗的海，东达今天的波兰部分，并南抵今天的瑞士、波希米亚、奥地利和意大利的北部。打从一开始，神圣罗马帝国的皇帝即面临一个相同的难题，也就是如何保持对德意志和意大利这两个不同地区的控制，因为两地中间隔着阿尔卑斯山脉，统合上并不容易。
神圣罗马帝国的成功，基本上是受惠于日耳曼和意大利这两个主要成员。日耳曼人并没有消除多少野蛮的特性。他们很早就被查理曼征服。帝国也从意大利的文化、科技和贸易等方面获利良多。意大利人欣然接受由帝国确保的和平与稳定，因为他们曾在五百年前受到入侵。由帝国所提供的保护防卫了罗马教廷，并且让意大利的城邦国家得以开始发展。
帝国皇帝的军队由教会土地的佃户所担任，他们有义务为皇帝服军役，是皇帝在与教会决裂而失去权威前这些士兵是皇帝军队的多数。第二种重要的部队是由庄园农奴组成的兵团，虽然他们一部分会在接受最好的训练与装备后成为骑士，却不是自由人。
第三由帝国分予土地的自由民、军户、农民、骑士也有义务服从号召。之外帝国内所有的部队皇帝理论上皆有权指挥，各公国在皇帝的请求下也会提供军役的号召。这些军队会被用来镇压由帝国内贵族和农民所参与的暴动或政争，也必须抵挡来自北方的维京人和东方的马札儿人所发动的入侵。
在奥托王朝与萨利安两朝，皇帝还有实际的权力，帝国军的指导权让皇帝在具掌控帝国内成员的实力。
然而，皇帝和教皇之间的对抗，间接的形成了日耳曼的未来命运。这项对抗是关于皇帝对主教职位的授予，和日耳曼境内其他教堂神职人员的任命。教皇葛列格里七世反对这项措施，因为如此一来导致教堂神职人员的职位买卖，成为主要的贪污腐化来源。
神职人员的职位常常落到出价最高的竞标者手里。在长期数位教皇和皇帝之间的竞争，教皇赢得选择主教的权利。在这场争执中，帝国就在日耳曼爆发了内战。
削弱了皇帝们在日耳曼和意大利的统治权。当皇帝被暂时逐出教会并且投注于对抗罗马的战争时，帝国的政权就已失去效力。在未受到皇帝的干预或帮助之下，地方上的日耳曼亲王团结自己的力量并与维京人作战。在意大利，兴起中的城邦国家联合起来组成伦巴底联盟，并拒绝承认神圣罗马帝国皇帝的地位。
因此随着德意志各诸侯离心倾向的加剧，皇帝的地位不断下降。1356年卢森堡王朝的查理四世颁布《金玺诏书》(《黄金诏书》)以后，皇帝实际由王国境内七大选帝侯选举产生，他们是最古老同时也是最具权势的三大教会诸侯：美因茨大主教、科隆大主教、特里尔大主教;四大世俗领主：波希米亚国王、莱茵—普法尔茨伯爵、萨克森—维滕堡公爵，勃兰登堡藩侯，本身代表帝国的成员国不再认为皇帝与帝国有实际价值。
在日耳曼和意大利的政权，自此从皇帝身上转移到地方上的亲王和城市。皇帝的军队叛乱，占领由他们驻守的城市和城堡，并宣布这些地方被解放。
而当时的皇帝为重新夺回意大利，对日耳曼地方上的亲王作了很多的让步。到了十三世纪中期，神圣罗马帝国便已名存实亡，皇位更虚置达二十年。日耳曼的亲王只关心自己所保有的东西。意大利的城邦国家并不接受日耳曼的统治者，而且他们也强大得足以防卫自己。
中古时代的皇帝是由日耳曼的亲王推选出来的，但仅徒具空名，对地方的控制力远远不及他们对自己家族庄园的掌握。几个世纪以来，日耳曼只能算是欧洲的一股小势力。
16世纪时，哈布斯堡家族试图重振皇权，但因欧洲各国和德意志诸侯的联合反对而作罢。
