E’ la struttura più caratteristica del paese. Il fortilizio fu costruito probabilmente in epoca longobarda e fu successivamente testimone della lotta che oppose Como a Milano.
Qui si rifugiarono molti ghibellini, cacciati dal podestà di Milano, Ardigotto Marcellino, che inviò truppe, che distrussero il castello (1222-1224).
Una tradizione orale parla dell’esistenza del “Cunt Carüc”, capace di scelleratezze e di soprusi di ogni tipo, che agiva nottetempo ed attraverso cunicoli segreti. Si dice che le continue insidie alle ragazze del paese spinsero i paesani ad affidare al barbiere il compito di ucciderlo, mentre si faceva fare la barba.
Di ben altro tenore sono i documenti della Trivulziana di Milano, che ricordano l’impegno dei conti Carugo nello svolgimento dell’attività civile e politica.
La connotazione ghibellina dei conti Carugo rimase ben visibile nella merlatura a coda di rondine fino al 1910, quando una tromba d’aria danneggiò e rese pericolante la sommità della torre, rendendo necessario l’abbattimento della merlatura e quello della torretta che la sovrastava.
Anche la struttura del castello ha subito graduali e profonde trasformazioni per adattarsi alle nuove esigenze abitative che, nel 1858, nel 1938 e fino ai nostri giorni, hanno radicalmente modificato l’architettura originaria.