Originariamente il castello era un monastero e la attuale torre era il campanile. Nel corso del XV secolo fu aggiunta una prima struttura difensiva dai marchesi del Carretto a cui fecero seguito successive ristrutturazioni ed ampliamenti, come l'arco di epoca medioevale che unisce il castello alla torre. La torre, alta 27 metri in stile lombardo, presenta fregi ed archetti pensili realizzati in mattoni e pietre. Oggi il castello ha una facciata seicentesca e mantiene sul retro la loggia cinquecentesca che è anche visitabile. La famiglia Carretto a metà del XIX secolo cedette la proprietà alla famiglia Della Rovere a cui seguì la famiglia Polleri di Genova che la vendette al comune, attuale proprietario. Antistante al castello la caratteristica alzata a ponte e per accedere all'interno è necessario attraversare la vecchia porta di ingresso nell'antica cinta muraria.

La visita inizia percorrendo il perimetro esterno del Castello per comprendere la collocazione e la storia della struttura nei secoli. Quindi si entra all'interno, nei piani nobili, le cui stanze, trasformate nel XVII secolo presentano pavimenti a mosaico e soffitti a vela e a crociera affrescati a motivi floreali e geometrici. I saloni ospiteranno il museo contadino, di prossima apertura. La visita prosegue con i camminamenti sulla cima e si conclude nelle spaziose cantine.