大家都知道栖霞山有个栖霞寺，知道衡阳寺的人恐怕就不多了。衡阳寺，现在已经没有了。那么，庙到哪里去了呢？给衡阳村建了工厂。如果问衡阳寺与栖霞寺哪一个大？那么，大家肯定会讲栖霞寺大。叫我说吗，衡阳寺大！为什么呢？这里头有个来历：

　　传说清朝的时候，乾隆皇帝下江南，一次私访，路过衡阳寺，因为他非常喜欢游玩，就走了进去。一进门，看到弥勒佛笑哈哈的，当家大师对皇帝说：“佛望佛笑”。皇帝掉过头来问当家师：“佛不是也望你笑吗？”当家师说：“佛笑小僧今生没修道”。皇帝笑笑，看这位和尚很有才学，随口就问了两句俗语：“你知道这人世间，肥不过什么？瘦不过什么？”当家师说：“肥不过春雨，瘦不过秋霜”。皇帝非常高兴，说：“长老所言极是，这春雨、秋霜可谓天地之元气，日月之精华也！”皇帝又点点头问：“此地叫什么庙？”当家师说：“此地叫衡阳庙”。皇帝开口说：“孤家封它为衡阳寺。”从此后，远近百姓就叫衡阳寺了。

　　乾隆皇帝又访到栖霞寺，见到栖霞寺的大和尚问道：“你知道这人世间，肥不过什么？瘦不过什么？”大和尚说：“肥不过绵羊尾，瘦不过螃蟹腿。”皇帝听后摇篮头，不满意地说：“此乃食物，境界不高，何登大雅之堂也！”

　　过后，乾隆皇帝把两个寺一比较，提笔写下了“衡阳寺小当为大”几个字。