三井家は、この島の集落の開祖で、代々庄屋をしていて神官も兼ねていたと言う。また、その他に水窪川の「川刈」の元締めもしていたと言う。