圣姑礁有一个美丽的传说，相传远古时代有三位美丽的姑娘带着一只狗和一只宝箱来到了洋山，并在此小憩。礁上的圣姑礁宫建于清朝，至今已经有170多年的历史。不止如此，清光绪十四年，也就是1860年，湘潭雷玉春率刘长春等7名将军巡海到大洋岛时，有感大海之情，题了“群贤毕至”四个直书正楷大字。这些字每个高0.36米，宽0.28米，左落款12字，右落款32字。旁边另有“海宇澄清”、“泛波”题字，每字高约0.5米，宽约0.4米，清光绪二十六年，右边的落款由于自然分化，具体内容无从考查。该三处摩崖石刻皆列为县级文物。南宋时，嵊泗列岛就出现了烽火台。南宋宝佑六年间（1258年），自宁波镇海招宝山至嵊泗列岛漫长的海道上，曾出现过烽燧12个，其中有8个在嵊泗列岛境内，而在洋山的那一个就设在圣姑礁上面。