该建筑建于明万历二年（1574年），是天津古老的清真寺之一。知名学者王静斋曾经在书中这样写道：“明朝初年，那时在运粮的船队中有一些安庆帮的人，他们每年冬天都会在此地临时的搭席棚作礼拜。后来他们就集资买下这个地方，建了这座。该建筑起初只是临时搭建的礼拜用的房间。后来在一个叫王宇周的人的劝说下，左冠廷、穆玉山捐出一些房子，建了大殿和南北讲堂、沐浴室等。光绪年间又在一个姓冯的阿訇的劝说下集资重修，1917年、1984年、1988年、1990年又分别对大殿、南北讲堂和门楼进行了修缮。