C’est en 1897 qu’elle est mise en vente par l’Etat. Un architecte local, Léon Sergent, en fait l'acquisition pour la modique somme de 280 francs avant, selon la légende, de la perdre aux cartes en 1909 lors d’une soirée arrosée et la céder ainsi au médecin Auguste Lutaud. Bon… Il paraît plus vraisemblable que la vente se soit faite en bonne et due forme.
C’est avec ce médecin excentrique que commence l’histoire rocambolesque de l’Ile d’Or.
En effet, il décida d’y ériger une tour sarrasine de 18 mètres de haut. Lorsqu’elle fut terminée en 1912, il s’auto-proclama roi Auguste I er, roi de l’île d’Or. De nombreuses festivités mondaines s’en suivirent avec les personnalités venues en villégiature sur la côte d’Azur.
En 1961, un nouvel acquéreur, François Bureau, ancien officier de marine s’attacha à rénover la tour jusqu’à son décès en 1994. Il fait de l’île d’Or sa résidence secondaire. La famille Bureau, toujours propriétaire de l’île, hisse un drapeau en haut de la tour lorsqu’elle est présente.
La légende veut que l’île d’Or ait inspiré Hergé pour l’album «L’île noire» des Aventures de Tintin. Si la ressemblance est frappante, particulièrement lorsque l’on approche l’île par la mer, aucune preuve à ce jour n’est venue étayer cette histoire.