L'epiteto dell'olio venne coniato nel Medioevo quando era costume versare olio bollente dalle alte torri a scopo difensivo. La denominazione Torre dell'olio probabilmente risale al secolo XVI e si riferisce all'evento, o leggenda, che ebbe Annibale protagonista. Si è creduto, e si crede tuttora, che nel 217 a.C. gli spoletini abbiano gettato olio bollente sui cartaginesi che tentavano di invadere la città entrando dalla porta che, successivamente riedificata, venne detta Porta Fuga.

 

Reduce da una vittoria sui romani al Trasimeno, Annibale sperava di prendere facilmente anche Spoleto e di proseguire senza difficoltà alla conquista di Roma. Ma l'inaspettata e cruenta aggressione spoletina aveva oltremodo indebolito il suo esercito; per guadagnare tempo e rinforzare le truppe, invece di marciare dritto su Roma, dirottò verso il Piceno. La deviazione diede a Fabio Massimo il tempo di organizzare un'adeguata difesa.

 

La torre ha pianta rettangolare allungata; le dimensioni esterne sono di metri 3,80 x 7,00 con muri di spessore che varia da 1,70 m alla base, fino a 1,00 m in cima. Fuori terra misura 45,50 metri, rimane inglobata nel palazzo Vigili per circa 27 metri e libera per i restanti 19,00 metri.

È costruita in muratura di ciottoli e pietrame legati con calce, malta e sabbia di fiume, e pietra calcarea. Sorgeva lungo il tracciato delle mura urbiche. Il basamento è in conci di pietra di 70x80 per un'altezza di circa 8 metri. Internamente il vano è di dimensioni ridotte, diviso da un soffitto a volta che si appoggia lungo i muri più spessi. Lungo la facciata su via Porta Fuga ci sono piccole aperture a sguincio di 20x20 cm di luce, funzionali alla aerazione e al controllo visivo della zona sottostante. Sul lato che guarda a valle, all'altezza del tetto del palazzo che la circonda, si apre un portale ad arco; della stessa forma sono anche i due finestroni in cima.