Contigue al palazzo e considerate parte di esso, spiccano le due torri gemelle gentilizie del XII secolo.

 

L'edificio presenta una facciata su via delle Torri, opera di Ignazio Cantalamessa, venne realizzata verso la metà del XIX secolo, composta su tre livelli e improntata su un sobrio ma chiaro classicismo, con un portale a tutto sesto incassato da lesene e al primo piano finestre coronate da architravi sostenuti da mensole a volute.

 

L'altra facciata che si affaccia su piazza Sant'Agostino, venne progettata nel 1927 da Filippo Sacconi Natali e mostra un'architettura più eclettica, secondo il revival medievalistico tipico dell'epoca con eleganti bifore di ispirazione rinascimentale. Nella parte più alta vi è un parapetto a merli.

 

In un altro piccolo corpo ci sono due portali d'ingresso, sopra ad un di essi c'è lo stemma della famiglia Merli.

 

Le torri gemelle inglobate dall'edificio e intervallate tra loro da una casa medievale, furono innalzate con conci di travertino nel XII secolo. Sono alte 25 metri e sono tra le più rappresentative tra le torri gentilizie superstiti che costellavano il panorama della Ascoli medievale. Costruzioni militari, ma soprattutto espressione del potere delle famiglie che le possedevano, furono acquistate dalla famiglia Merli nel 1885. Le due strutture vennero in seguito comprese nell'edificio di residenza della famiglia Merli.