元代的鼓楼，在今天的北京鼓楼附近（具体位置，说法不一），又名齐政楼，始建于元至元九年（1272年），是元大都的中心。元成宗大德元年（1297年）重建，明永乐十八年（1420年）成祖迁都北京，在兴建宫室的同时，于今址处重建鼓楼，由于明代南北城墙的变动，因此这座鼓楼就不再是全城的中心而偏于城北。
清朝嘉庆五年（1800年）和光绪二十年（1894）先后两次重修。
可以说，钟鼓楼是元、明、清三代的报时中心。作为一组高大巍峨的“时间建筑”，钟鼓楼前后纵置、互相衬托着矗立于北京中轴线的北端——既是扼守“紫禁后护”的重要城市地标，又是“号令全城”的首都报时中心，始终与市民的生活息息相关。
关于鼓楼鸣鼓的问题，北京城至今仍流传着“紧十八，慢十八，不紧不慢又十八”之说。参观鼓楼一层的展览，可以看到两套鼓谱。