Ai due estremi del ponte si trovano due fortezze, la Rocca Albornoziana e il Fortilizio dei Mulini, eretto per vigilare il ponte e attivo come mulino fino al XIX secolo. Il nome Ponte delle Torri potrebbe alludere alle torri delle due fortezze o all'aspetto dei piloni.

 

Si innalza su nove possenti arcate, ha una lunghezza di 230 metri e un'altezza di 80. Le dimensioni massime di alcuni pilastri alla base sono di metri 10 x 12. Piloni e arcate non hanno misure costanti: i piloni verso il Monteluco sono più massicci degli altri e sono rinforzati da arcate poste circa a metà della loro altezza; anche lo spazio tra le arcate è diverso, minore rispetto alle corrispettive verso Sant'Elia. La loro diversità fa pensare che siano stati costruiti in periodi diversi. I due piloni sorgenti dal fondo della valle sono vuoti e praticabili, al loro interno alcuni ambienti che fungevano da postazioni di guardia, con finestre e porte d'accesso situate a pochi metri da terra; nel tempo sono stati un sicuro rifugio diurno e stagionale per vari chirotteri.

Sopra la struttura si erge un muraglione alto circa 12 metri che delimita la strada sopra il ponte per tutta la sua lunghezza; sulla sua sommità in un canale scavato, scorreva l'acqua che, proveniente dagli acquedotti di Cortaccione e Patrico, riforniva la città. In origine era completamente chiuso, solo nel 1845 è stato aperto il panoramico finestrone centrale a cura del gonfaloniere Parenzi; il parapetto antistante invece, alto circa un metro, è stato costruito sul finire dell'ottocento.

 

Una rientranza nel muraglione, una nicchia anticamente destinata alla sorveglianza dell'acquedotto, ha avuto anche altri usi: quando Spoleto aveva la cinta daziaria costituita dalle mura medievali, era usata come guardiola del gabelliere.

 

All'estremo orientale del ponte, presso il Fortilizio dei Mulini, inizia un sentiero pedonale denominato Giro dei condotti, che conduce ad antichi eremi e si dilunga a traverso sulla china del Monteluco, offrendo panorami mozzafiato e una rigogliosa e varia vegetazione. Il suo piano di calpestio copre le antiche condutture dell'acquedotto di Patrico realizzato nel 1891.

 

Di difficile datazione, si ritiene che, nel suo aspetto attuale, sia stato completato alla fine del trecento, probabilmente sui resti di una precedente struttura romana. Attualmente nulla sembra rimasto dell'età romana, i particolari costruttivi rimandano al tardo medioevo, probabilmente a dopo il 1363, periodo in cui il cardinale Albornoz intraprese importanti iniziative edilizie affidate all'architetto Matteo Gattaponi, come la costruzione della Rocca.

 

La canaletta a pelo libero che trasportava l'acqua proveniente dalle sorgenti di Cortaccione e Valcieca attraversava la valle del Tessino passando sulla sommità del ponte, riforniva la Rocca, che necessitava di copiosa dotazione d'acqua, e confluiva nella fontana di piazza Campello (poi ristrutturata e denominata fontana del Mascherone), nel centro della città, da qui si diramava per raggiungere pozzetti e condutture varie.

 

Nel corso del tempo è stato oggetto di restauri e rifacimenti: alcune arcate, demolite per ragioni strategiche nel 1390, sono state ricostruite in muratura nel 1639, altre due furono rifatte in mattoni nel 1845.

 

Tra il 2006 e il 2008, durante i lavori di consolidamento di un'arcata, sono state condotte delle verifiche sull'eventuale vulnerabilità del ponte alle scosse sismiche della zona. In seguito alla prima scossa del terremoto del Centro Italia, nell'agosto 2016, il ponte è stato chiuso ai passanti per precauzione tramite un'ordinanza comunale.