从杜园村原省商业学校即现在的省信息职业学院杜园校区大门口前左拐,沿着小巷一直走到底,小巷尽头南面为磨石山,北为鳌山,灵山寺坐北朝南,面朝磨石山,北依鳌山,占地面积近一千平方米。灵山寺,古时又名灵山院。据宋代梁克家《三山志·僧寺》记载,灵山院创建于梁大同元年(公元535年),久毁。至今,寺中还可以看到残存的唐代瓜形石柱础。1987年以来,将法堂改为砖混结构的大悲楼,又在山门外建了一座碑亭,将原在寺内祖祖师殿前的两方乾隆辛亥年镌刻的《重建灵山寺》碑和大雄宝殿东侧的厢房内的嘉庆乙亥年立的《重修灵山寺》碑移至碑亭内,从碑刻中得知,灵山寺重建于乾隆56年(1791年),重修于嘉庆20年(1815年)。
近年,寺院大兴土木,一改过去的四面围墙、进寺为矩形石框门的旧式,令人耳目一新。高大上飞檐翘角的山门,重建三大殿、东西配殿,还有玉佛殿。天王殿、大雄宝殿均为面阔三间,进深五柱,雕梁画栋,琉璃瓦的屋顶熠熠生辉。大雄宝殿前东侧为伽蓝殿,前西侧为祖师殿。大雄宝殿后,东厢是客堂,西厢为香积厨。后山上有海会塔,法堂西边有接待楼,左右僧舍。
目前,寺院尚未完工,仍在建设中。
评论