嵊州西北边有座鹿胎山。据明代小说《二刻拍案惊奇》的说法，有个叫陈惠度的猎人有一回在这座山上射了一头带胎的母鹿，母鹿临死前将小鹿生出来并将它身上的血舔净，然后才安心死去。剡溪边这座山便因此易名作鹿胎山。溪山第一楼就坐落在鹿胎山麓，建造年代已不可考，不过宋朝时候朱熹就登上此楼赏景了，并留下了“溪山第一”的赞语，这楼边便因此得名了。