孤山寨因三座孤立的山峰而得名。其中爷爷大孤山坐守山寨，儿子孤山守候在山寨得尽头，孙子小孤山守于山门， 孤山寨是十渡风景名胜区内的一条大峡谷，深约10公里。步入峡谷，两侧怪石嶙峋，山峰林立，越向里走，山势越险峻，峡谷便越窄；越向里走，植被越丰茂，景致越幽美。