香山仙海拔800余米，地处鸾山与银坑交界的利洞村境。左为钟山，右为鼓山，后为龙山。峰峦古木参天，翠竹滴青，山石丛生，径石满目，可谓“龙川竹形数千秋，云锁高峰雾竞流”。香山仙宛如一颗明珠，镶嵌万山丛中，尽得四方灵气。建筑在香山岭顶峰的仙寺宫殿，座西南朝东北，坤地艮向，前得江西风水，后通楚南腹脏，是难得的仙佛宝地。登临此地，俯视前方，鸾山寨如擎天柱顶天立地，而脚下丘谷起伏有“五龟游图”的景观。回视后方，所靠巍巍宝珠高峰，峰下有“五马归槽”的奇迹。往东远眺，磅礴逶迤的大和仙山峰，犹如护卫的大力神。近观西部海拔近千米的紫云峰，电视转播塔巍然耸立。

　　香山历史悠久。自古流传“共工一怒撞倒不周山”，女娲氏炼五色石以补天，所剩一石坠落凡尘，变为一山，其形似香炉，人们唤其山为香炉山。口口相传，不知经历几朝几代，人们把香炉山省称香山。又传说八百八十岁的彭祖来香山修炼养生成仙，人们因此称香山为香山仙。在鸾山的村民中，香山寺的来历，还有一则传闻更广的神话。寺西的紫微山，寺东的太阳山，原是两条恶龙，为了争夺一颗宝珠，经常厮斗，百姓不得安宁。后经神仙指点，乡民在这颗宝珠上建造了一所寺院，镇住了恶龙，方使两则的银坑和鸾山成了绿色的宝库。

　　宋咸淳九年(1273)，圆照祖师在香山仙开址建寺，并将香山岭原有的“彭祖庙”迁入其中，香山仙寺于是有了仙佛同居的历史。香山仙供奉彭祖仙师像700余年，周边民众对彭祖这位养生宗师、矿业始祖无比尊敬。

　　彭祖仙师，号篯铿，中国上古传说中一位长寿神仙，属于半信史时期的人物。据传说，彭祖系黄帝的第八代后裔，颛顼的玄孙。篯铿少年时期，国家发生了犬戎之乱，被迫流离西域，受尽磨难。他刻苦学习养生之道，成年后回到家乡，传授养生知识，救助水深火热中的百姓。在天下洪水肆虐之时，尧帝把他封到大彭(今安徽徐州铜山地区)，令他建立大彭国，成为这块土地的开山祖，故此后人称篯铿为彭祖。彭祖在历史上影响很大，孔子非常推崇他。庄子、荀子、吕不韦等都曾论述过他，屈原诗歌中也提到过他。因为他名气太大，到了西汉，刘向在《列仙传》中把彭祖列入仙界，彭祖成了一位来去无踪、神秘莫测、道行高深的仙人。

　　彭祖同时还是矿业始祖，在攸县东乡一带广为流传彭祖的神奇传说。据说彭祖一日外出云游，见一山峦，如鸾起舞，便按下云头，但时值冬季，寒意袭身，即垒石燃火取暖。此时八仙之一的张果老路过，他见彭祖燃石取暖，便上前打趣道：“神仙不生不灭、不冷不热、不饥不饿、不病不疾，修道之人，以修身养气为本，内功发自丹田，何用取暖。”即命其坐驴撒尿浇灭，并一脚将火石踩入地下，曰：“留于后人用。”谁知这炽热的石块年长月久，却变成了攸县东乡丰富的煤藏，彭祖也从此成为几千年来东乡煤炭行业的鼻祖。那里的矿井，至今沿袭在每个井口前设立三个香案，每月初一、十五祭祀，其中第一个香案就是彭祖的神位。

　　名山圣地，人人向往。香山虽处楚天一隅，因风景秀丽，后又因彭祖留下仙迹，故声名远播。先贤名士与香山仙结下不解之缘，留下许多诗歌佳话。洪性少年放歌就是其中之一。洪性，漕泊人，明天顺甲申(1464)进士，历任山西道监察御史、福建巡按、江西按察使副使等职。洪性自幼聪慧，十三岁时到县城书院就学，从漕泊至县城依官道而行，路经香山，见景致非凡，立马口占一首七律《香山》：“西风匹马上香山，绝顶登临眼界宽。举手可攀红日近，浑身都在白云间。岩边有树千年老，洞口无风六月寒。莫道等闲经此地，凡人停辙叹艰难。”后来，洪性又多次途经香山，并作《登香山寺》。其诗曰：“暾舒散彩慕名山，徐步登临兴转宽。满树棠花遮涧曲，数声梵语入云间。溪流溅石春常湿，古寺留风昼亦寒。驷马有缘寻旧迹，不逢难处不知难。矗立重霄山上山，一层身到一层宽。几群白鹭衣襟外，万里风云顾盼间。砾石文传人石异，日光欲薄剑光寒。德行显示钦前献，瞻望还知仰止难。”

　　还有漕泊名士洪特书《晓登香山》、洪维《晚登香山》等诗作，均载人《攸县志》，留芳后世。

　　七百余年的历史，香山仙寺屡经废兴。至清末民初，逐臻完善，寺宇占地面积为1000余平方米。进身两栋，前殿供奉观世音佛像，后殿供奉彭祖仙师。山门书题“香山仙”三个大字，前殿联曰“佛殿有尘风自扫，禅门无锁月常关”。之后，不幸于1924年和1931年两次被毁于战火，后又赖周围民众修复。1950年，又一度毁为废墟。1972年，鸾山、银坑民众倡首兴建香山亭，以亭代寺。1997年以后，鸾山、银坑两地贤达捐资出力相继建设，重修香山仙，从而神像垂辉，香火渐旺。如今，香山仙结缘南岳禅寺，正在重新规划香山仙的修复和构建香山仙玉佛大殿，香山仙将更光彩夺目。