钟鼓楼台基始建于清道光元年（1821年），为宁夏知府赵宜喧主持建造，并手书了洞额石刻题记。光绪三十四年（1908年），宁夏地方绅商捐资在台基上又建了三层楼梁架，后因“款绌停辍”。直到民国6年（1917年），才由宁夏县知事余鼎铭接续重建，并在四角增盖了券棚顶角坊。落成后的钟鼓楼，曾悬大钟一口。