Il disegno del palazzo è espresso dalla fusione tra due robuste case-torri, diverse per stile ed epoca di costruzione, collegate fra loro da un ampio corpo longitudinale, che si snoda con un profilo sfaccettato per gran parte del corso Vittorio Emanuele. Le notevoli difformità stilistiche sono rese evidenti, oltre che dalla diversa ornamentazione dei due ingressi principali, anche e soprattutto dalla diversa disposizione delle aperture superiori: assai irregolari e rade nella più antica torre angolare, alquanto ordinate e strutturalmente più organiche nei restanti corpi di fabbrica. L'interno, compromesso dal terremoto del 1349 che causò il crollo delle grandi arcate ogivali a sostegno del settore centrale della copertura, è stato restaurato dagli architetti Giovanni Fontana e Alfredo Spalvieri. Una sua porzione ospita il museo civico archeologico.