Addossata al lato ovest della torre portaia nord c’era una casetta d’epoca medioevale (XIV sec.), alla quale fu poi raccordato il palazzo signorile conosciuto come Casa del capitano o del gastaldo (palazzo Ridolfi, poi Bozza-Marrubini) di origine quattrocentesca, massicciamente ristrutturato a forma di abitazione signorile a fine ’500.

Faceva parte di un lungo caseggiato ad archi a tutto sesto che si sviluppava fin quasi alla torre portaia sud e che era adibito ad abitazione del personale e a sedi di servizio (capitano e gastaldo). Il piano terreno conserva gli antichi archi del portico, al primo piano una trifora dà eleganza alle finestre arcuate.

Il palazzo è internamente affrescato con cicli pittorici di Gio. Francesco Zamolo da Venzone (1704-1712), importanti non tanto per le scene mitologiche (Morte di Cleopatra, Telamone, Didone ed Enea, Scena mitologica), quanto per le raffigurazioni dello scenario urbanistico del castello e degli altri edifici d’allora entro la cerchia murata. Interessante anche la Marina con vascello.

In questo palazzo, di cui era proprietario per eredità, abitò per vari periodi dell’anno il prof. Gino Bozza (1899-1967), scienziato e ricercatore di fama nazionale, docente insigne, dal 1960 e fino alla morte Rettore del Politecnico di Milano, membro dell’Accademia dei Lincei e del Consiglio superiore della pubblica istruzione (per 12 anni anche assessore comunale).