在法兰克福时，得知大教堂南面的礼堂是投票选皇帝的地方，来到海德堡，才知道这是真的！
封建时代早期，德意志各诸侯各有领地，皇帝相当于盟主，有点儿像我国的周朝。1356年，当时做皇帝的卢森堡王朝的查理四世为了谋求诸侯对其子继承王位的承认，在纽伦堡制订了著名的宪章“金玺诏书”，确立了帝国七个拥有选举“罗马人的皇帝”权利的诸侯——选帝侯。他们分别是美因茨、特里尔、科隆三大教会的大主教和萨克森-维滕堡公爵、勃兰登堡藩侯、莱茵-普法尔茨以及波希米亚国王四个世俗选帝侯。七个选帝侯选举出来的人只能称“德意志国王”，与七大选帝侯的级别相等。只有经过进军罗马，并由教皇加冕后的“德意志国王”，才能使用“神圣罗马帝国皇帝”头衔。
四个世俗选帝侯中的莱茵-普法尔茨就是莱茵河两岸许多伯国的领主维特尔斯巴赫家族，以海德堡为政治中心。王座山上的城堡最早建于1214年之前，之后在1294年左右扩建为上下两个城堡。自14世纪开始，作为选帝侯的官邸，历代普法尔茨不断扩建，历时400年之久才得以完工。建造过程中，伴随着欧洲不同文化时期的变换，建筑风格也随之不断变化，形成了哥特式、巴洛克式和文艺复兴三种建筑风格的完美融合。
16世纪时，普法尔茨选帝侯全力支持新教改革，因此卷入“三十年战争”。17世纪初，整个海德堡卷入战争，并遭到了严重破坏，城堡也受到了重创。虽然得到了修复，但是规模远不如前。
战争结束后，选帝侯把女儿莉兹女爵嫁给了法王路易十四的兄弟奥尔良公爵，由于莉兹女爵性格直爽开朗，她在法国宫廷成为最受欢迎的女性之一。当选帝侯之子去世，选帝侯无继承人时，路易十四借口其弟媳为选帝侯公主，欲夺取统治权，这样法兰西帝国的疆域可兵不血刃地扩展到莱茵河右岸，选帝侯家族断然加以拒绝。1689年，路易十四强硬地派军队护送选帝侯的女婿奥尔良公爵至海德堡，结果引发了“奥尔良战争”。选帝侯率军奋力抵抗，但仍然失败了。法军为攻占城堡伤亡惨重，对这座城堡恨之入骨，攻占城堡后就用火药炸，未能将其重创。四年以后，法军恨意未减，运来大量火药垒放在城堡内部，才终于将它劈成两半。城堡裂而不毁，一大半仍然站立着，另一小半塌陷，但是依然斜靠在未倒的那一大半上，在今天看来，这个裂口本身也是一个奇迹。城堡受到了致命的重创，上部某些房间只留有一面外墙。
后来，选帝候卡尔-菲利普曾试图重修城堡，但由于财力不足，最终也没能如愿。1720年，由于海德堡的新教徒与罗马天主教徒发生冲突，选帝侯家族不得不迁居曼海姆。
卡尔-菲利普的继任者卡尔-特奥多尔（就是建桥者）试图修缮，但却因1764年城堡被雷击引发大火，不得不放弃，城堡由此成为废墟。
1777年，他将官邸搬迁至慕尼黑，城堡被他彻底忘记。城堡中有屋顶的部分遂被海德堡的手工业者占据，石料、木料和铁器则被市民捡回家去维修自己的小屋。
1803年，根据帝国代表大会的决议（神圣罗马帝国最后一个有着重大意义的法律决议），海德堡和曼海姆划归了巴登。当时的大公Karl Friedrich认为城堡毫无用处，而德国著名的剧作家August von Kotzebue则愤怒的批评巴登政府视城堡于不顾。城堡的真正救星是法国伯爵Charles de Graimberg。和August von Kotzebue一样，他也严厉指责巴登政府的行为，力主保护城堡遗迹。直至1822年，这位伯爵一直履行着城堡看护者的职责。一段时间内，他甚至住在城堡内，以便更好的看护。
是否完全重建城堡的争论持续了很长时间，直到1883年，大公国巴登政府成立了城堡建造办公室。办公室的任务是清点城堡当时的状况，以及为维护和全面修复主建筑提出建议。1890年，办公室完成了使命，为专家提供了重建的理论和数据基础。来自全德国的专家组成的委员会决定，尽管全面或者部分重建城堡是不可能的事，将它维持现状则完全可能。1897到1900年，海德堡耗资50万马克只修复了Friedrich楼，哥特式的国王厅则是 1934年修建的。