伝説によれば、このお宮の御祭神は伊都岐島姫命で、大昔、御自身の安住の地を探して筑紫から東に向かい航海される途中に笠戸島に着かれ、その美しい景色にひかれて「ここを永住の地に」と思われたが、島内に七浦七恵比寿をお祭りしなくてはならないところ、一浦たりないために諦められ、さらに東、安芸の国「宮島」に移られたといわれる。

海中に建つ石の鳥居は、大正14（1925）年に、土地の有志により建立された。
深浦の西ヶ浴(にしがえき)に厳島明神様が祭られており、毎年旧暦６月１７日には、複数の漁船に提灯をともし、湾内を一巡する「十七夜管弦祭」が行われる。