比干为中国历史中以死谏君的忠臣，称为“天下第一仁”。周武王封比干为国神。北魏孝文帝因感念其忠心而建庙。
比干庙历代都由卫辉古城内官府维护。
现存留的建筑群为明代弘治7年重建。比干庙是重要的庙墓合一的建筑群，是中国第一座含墓祭人之祠庙，称为“天下第一庙”。庙宇宏敞，古朴壮观。