Il castello è la più antica costruzione di Carloforte, è infatti sorto nel 1738. Probabilmente le stanze inferiori erano adibite ad alloggio per la guarnigione delle truppe, mentre il piano superiore talvolta era residenza del Duca di S.Pietro. Nel periodo fascista fu usata come prigione, mentre in epoca recente è stato ristrutturato e probabilmente diventera' un museo. Nella facciata a sud si trova una lapide che ricorda la colonizzazione, che ha trasformato l'isola inospitale in una regione di pesca e di commerci.