常氏祠堂建于清光绪五年，人称常家祠堂为“中国民间第一祠堂”，祠堂内记录着常氏在此地的根源和发展。常家祠堂对面矗立着一面大型砖雕影壁，中间由240个书写迥异的篆书“寿”字组成。按中国六十花甲子传统，取谐音“寿二百四十止”，是祈愿主人安康长寿，祈愿家族人丁兴旺、四世同堂、代代长寿。照壁两边一鹿一鹤，鹤为长寿象征，鹿兼有国泰民安、政通人和的吉祥之兆。祠堂门前左右分别竖立着高高的石旗杆，代表着家族中有人取得四品以上官位。常家从兴到衰整个过程中，出现过四品以上官员46位，其中包括5位从二品爵位。旗杆是家族荣耀和权利的象征，也映示着常家当年曾有过的辉煌史迹。