伯爵城堡始建于1180年，因为城堡建造者弗兰德伯爵参加过第二次十字军东征，所以城堡是按照十字军城堡的模样修建的。城堡在漫长的历史中经历复杂，在14世纪时被改做监狱和法院。19世纪末差点被拆除。1885年被根特市政府买下并把城堡修复到原来的状态，如今是城堡博物馆。在外形与风格上，伯爵城堡与英伦三岛的古城堡很像，肃穆高大，很中世纪很阴冷，而不像法国城堡那样浪漫唯美。