当社の具体的創建時期は不明となるが、一部の伝承では、かつて、この近辺の港には、中国からの交易船が往来していたとされ、その時、呉国の織姫が渡来され、その名護地として当社の社名が残されたとも言われている。また、一部では、こうした機織りが全国にその技術を広め、伊勢の機織りが江戸時代に越後屋の呉服店を生みだしたとも言われる。そんな当社は、100件以上の履物問屋の集まる、履物問屋街にあり、このためか、履物（はきもの）神社と神社が合祀されている。