Miếu Bà Phi Yến hay còn gọi là An Sơn miếu được xây dựng từ năm 1785 để thờ Bà Phi Yến – vợ của chúa Nguyễn Ánh (vua Gia Long).
Đối với những người dân đảo, ngôi miếu rất linh thiêng, gắn liền với câu chuyện bi thương của người phụ nữ tài sắc, đức hạnh và giàu lòng yêu nước. Sau khi Bà mất, nhân dân trên đảo thương tiếc đã lập miếu thờ. Năm 1861, sau khi chiếm đảo, thực dân Pháp đã quyết định di toàn bộ dân vào đất liền để xây dựng nhà tù nên ngôi miếu dần bị đổ nát. Đến năm 19581 nhân dân trên đảo đã xây dựng lại ngôi miếu khang trang trên nền ngôi miếu cũ và thờ tự cho đến ngày nay.