香山历史悠久，素有全国“八大佛山”之称。考其历史，“肇於符秦，成于姚秦”，古称三石山，后曾易名为天宝峰；清嘉庆二十三年重修香山寺，始称香山，沿用至今。香山乃观音菩萨肉身成佛之地，故以菩萨灵异而遐迩知名。