传说在宁海桥修建过程中，海中有鲤鱼精时常兴风作浪，导致工程受阻。第一次建桥即将成功时，天上乌云密布，海面狂风大浪，鲤鱼精作祟使工程毁于一旦。第二次建桥快完工时，鲤鱼精又来捣乱，关键时刻观音菩萨显灵空中，制服了鲤鱼精。为纪念观音菩萨相助之功，民众修了一座观音亭，亭中的观音手提一条红鲤鱼。

宁海桥初建于元代元统二年（1334年），因地处木兰溪下游入海口，溪海交汇、潮大流急，建桥工程异常艰巨。自元至清的300余年间，桥梁历经六建六圮，最终于清雍正十年（1732年）第七次修建成功，耗时15年。