L'altro grande centro della vita spirituale del paese è l'Arciconfraternita della SS. Annunziata, nata in un momento di grande fervore religioso che nel '600 pervase tutta la Campania.
Anche in questo caso i racconti popolari vengono in soccorso alle poche testimonianze cartacee.
Le invasioni piratesche da sempre funestavano l'Isola, saraceni prima, turchi e pirati poi, costrinsero gli abitanti del paese, spesso deportati per esser venduti come schiavi, a costruire 5 torri quadrate, con lo scopo di ospitarvi la popolazione e, nello stesso tempo, di disporre un'offesa a mezza distanza. Molte case, invece, furono costruite asserragliate come dei fortilizi su enormi massi tufacei. Un impianto difensivo ben organizzato e ben collegato con le torri dei Casali limitrofi.
Ebbene, gli abitanti del paese, supplicarono la Vergine di far cessare tali incursioni ed a ringraziamento edificarono nel 1617 "l'Oratorio dell'Annunciata". L'Oratorio, ingranditosi grazie alle numerose offerte, venne elevato ad Arciconfraternita nel 1689 sebbene la pala dell'altare che ritrae l'Annunciazione sia del 1684.
Le "Regole" della Confraternita furono più volte riviste e aggiornate, tanto che oggi, a differenza del passato, quando alle donne era vietato entrare nella chiesa quando i confratelli vi erano radunati per le diverse pie pratiche, le donne sono divenute "voce attiva" e "consorelle" a pieno titolo.
Nel 1989, a 300 anni dalla fondazione, il Consiglio dell'Ariconfraternita ha organizzato una solenne celebrazione culminata nell'incoronazione della venerata immagine dell'Annunziata.