Il castello, nel corso della sua storia, appartenne a molte famiglie. Fu acquistato dagli Avogadro, il cui ramo prese poi il nome di Vettignate.
Rimasero padroni del luogo i Vialardi, dopo che Arrigo VII tolse la giurisdizione ai Vettignate nel 1313, bandendoli dall'impero.