Selon
la légende, la chapelle fut construite au XIè siècle, à la
Chaume, par un marin ou un pêcheur sauvé d'un naufrage. Elle est
dédiée à Saint Nicolas, le patron des pêcheurs.
En
réalité, ce sont les religieux de Sainte Croix de Talmont qui ont
entrepris la construction de l'édifice. Le Prieuré sert à l'époque
d'église. En 1779, le monument est cédé à l'Armée et transformé
en bastion militaire. Laissé à l'abandon, la Ville en fait
l'acquisition en 1976.
Depuis
1997, la municipalité s'attache à la restauration et à
l'embellissement du fort, en respectant l'architecture militaire du
Bas-Poitou. Le fort surplombe l'entrée du chenal, et la baie des
Sables d'Olonne s'offre aux regards du haut de
l'esplanade.
Entièrement rénové en 2004, le Prieuré est aujourd'hui un lieu dédié à la culture et aux évènements.