依据 Kampung Muara Tebas 的口传历史，在200 年前青山岩已经建在现在的山丘上，当时庙宇很小。那时华巫两族已经在这里做生意。青山岩的建立有两种传说。第一个传说在200多年前，许多中国人移民乘帆船到砂劳越来，安全抵达砂劳越河口的人们，为了答谢马祖一路保佑平安，就以最好的风水观点在砂劳越河口左岸山丘上建立一个佛寺，并按时来朝拜，以保佑他们身体健康，谋生容易。以后到来的移民或回中国的移民也都抵达砂劳越河口后或祈求回乡一路平安，并在青山岩山下的一口井取水冲凉与饮用，以求水土合宜。

另一种传说是说，在200多年前，许多华人来到砂劳越做生意，青山岩后面的光头山成为一个贸易站。他们也以好风水的观点将佛、菩萨与马祖安置在砂劳越河口左岸的山丘上供奉以求保佑生意兴隆。据说他们需要淡水源头水源，依佛祖的指示在青山岩山下悟玄亭左边的地点掘开了一口大井，果然取得了充足的淡水水源。从此 Kampung Muara Tebas 也就成为砂劳越河口对外贸易站之一。这个大古井，目前还保留着，是这个马来渔村在1980 年还没自来水设备之前的主要淡水源之一。 　　　　

依据记载，1903年青山岩进行大修建，青山岩在1903年之前的发展没有历史记录，一般信众相信，青山岩原有的小庙随着年代的进展，进行了数阶段的扩建而成为一个大寺庙的格型。依据历史记录，青山岩主庙是在1903年修建，当时，庙里的住持释大庆，监院僧为振福。当年的大雄宝殿牌匾现在还挂在主殿的横梁上，1903年修建庙的捐款大德商号全部刻在庙里德一块石碑上。