祁门县博物馆属综合性历史博物馆，老馆筹建于1986年10月，1988年6月工程竣工并投入使用。1992年6月28日，《关于成立祁门县博物馆的批复》正式下达，祁门县文物管理所也入此办公。 1998年，因工作需要，祁门县博物馆与祁门县文物管理所合并，一个机构两块牌子，为隶属县文化局的副科建制的全民文化事业单位。2006年12月，祁门县文化中心落成，县博物馆迁入办公。