C'est à Madame de Soubise qui en fut propriétaire que l'île Madame doit son nom.
Relié au continent (Port des Barques) à marée basse par la "Passe aux boeufs", cet îlot sauvage fait de marécages s'enorgueillit d'un fort du XVIIe siècle, chargé alors de protéger la rade de l'île d'Aix. Pendant la révolution, des prêtres réfractaires en partance pour la Guyane y furent débarqués et y moururent quelques temps plus tard. Depuis, chaque année au 15 août, un pèlerinage y est organisé en leur mémoire.
Au hasard d'une promenade, on peut y découvrir des marais salants encore exploités à ce jour.