Nel XVI secolo, la Torre acquisì una duratura reputazione come una prigione truce e ostile. Tuttavia questo non fu sempre così; infatti come castello reale, essa fu utilizzata dal monarca in carica per imprigionare persone per vari motivi, ma queste erano di solito di alto rango, piuttosto che cittadini poiché per essi vi erano altre prigioni comuni. Contrariamente all'immagine popolare della Torre, i prigionieri furono messi nelle condizioni di migliorare la loro condizione tramite l'acquisto di servizi, come cibo migliore o arazzi, attraverso il Luogotenente della Torre. Non essendovi state previste originariamente delle stanze per la detenzione, nel 1687 fu realizzato un edificio in mattoni, adatto a questo scopo, a nord-ovest della Torre Bianca. La reputazione della Torre per la tortura e la detenzione, deriva in gran parte da propagandisti religiosi del XVI secolo e scrittori romantici del XIX secolo. Sebbene la reputazione della Torre è stata esagerata, i secoli XVI e XVII segnarono l'apice del suo utilizzo come prigione e molti religiosi e politici scomodi vi furono rinchiusi. Il Consiglio della Corona sanzionò l'uso della tortura, quindi non è stata utilizzata frequentemente; tra il 1540 e il 1640, il periodo con un maggior numero di detenuti, vi sono stati 48 casi registrati di uso della tortura. Tra coloro che subirono la tortura presso la Torre vi fu Guy Fawkes, rinchiuso il 6 novembre 1605; in seguito al supplizio egli firmò una piena confessione di responsabilità della Congiura delle Polveri.

 

Tra le donne detenute e giustiziate presso la torre vi fu Anna Bolena. Anche se gli Yeoman furono inizialmente il corpo della Guardia Reale, a partire dal XVI e XVII secolo il loro compito principale diventò quello di occuparsi dei prigionieri. Solitamente le esecuzioni furono effettuate a Tower Hill piuttosto che nella stessa Torre e 112 furono giustiziate sulla collina in oltre 400 anni. Prima del XX secolo, vi erano state sette esecuzioni all'interno della Torre di Londra, sulla Green Tower; come per Lady Jane Grey, ciò fu riservato per i detenuti per i quali l'esecuzione pubblica era considerata pericolosa.

 

Nel XV secolo fu fondato l'"Office of Ordnance and Armoury Office” (un particolare corpo militare britannico, con lo scopo di creare, testare e produrre nuovi armamenti) che prese in consegna doveri del Privy Wardrobe nella gestione dell'arsenale e degli oggetti di valore del monarca. Nel XVII secolo, le tensioni politiche tra Carlo I e il Parlamento, spinsero a rafforzare la Torre con forze fedeli al re e, nel 1640, una milizia fu spostata nel castello. Inoltre, vennero stilati dei piano per la difesa e costruite delle piattaforme per l'artiglieria, preparando così la Torre per la guerra. Tuttavia, ciò non si rese mai necessario. Nel 1642, Carlo I cercò di arrestare cinque membri del parlamento e, non riuscendoci, egli fuggì dalla città. Il Parlamento reagì rimuovendo Sir John Byron, il Luogotenente della Torre e la milizia a guardia cambiò schieramento supportando ora i parlamentari. Al posto di Byron venne nominato Sir John Conyers e, quando nel 1642 scoppiò la guerra civile inglese, la Torre di Londra era già sotto il controllo del Parlamento.

 

Carlo II fu l'ultimo monarca che mantenne la tradizionale processione dalla Torre all'abbazia di Westminster durante la sua incoronazione del 1660. Tuttavia, Carlo non passò la notte precedente nella Torre, poiché non vi erano più stanze in sufficienti condizioni. Sotto i re Stuart, gli edifici della Torre furono oggetto di restauri, per lo più sotto l'egida dell'Office of Ordnance. Nel 1663 furono spesi poco più di 4 000 sterline per la costruzione di un nuovo magazzino, ora conosciuto come la New Armouries, nella corte interna. Durante il XVII secolo vennero pianificati ulteriori miglioramenti per le difese della Torre, tuttavia essi non vennero mai realizzati.

 

Quando la dinastia Hannover salì al trono, la loro situazione si presentava incerta e si pensava che vi potesse essere una ribellione degli scozzesi e quindi la Torre di Londra venne riparata. Nonostante questi timori, il numero di cannoni alla Torre fu ridotto da 118 a 45, e un commentatore contemporaneo osservò che il castello "non avrebbe resistito ventiquattro ore contro un esercito preparato per un assedio". La maggior dei lavori svolti nel XVIII secolo furono frammentari e incloncludenti, anche se nel 1774 fu realizzato un nuovo passaggio a sud che consentiva il raggiungimento del molo su Tamigi dalla corte esterna.

 

Nel 1845, quando il duca di Wellington pose la prima pietra, iniziò la costruzione della caserma Waterloo nella corte interna. L'edificio fu in grado di ospitare fino a 1 000 uomini; allo stesso tempo, furono edificati quartieri separati per gli ufficiali a nord-est della White Tower. L'edificio è oggi sede del Royal Regiment of Fusiliers. La popolarità del movimento cartista tra il 1828 e il 1858 portò alla volontà di rifortificare la Torre di Londra come difesa in caso di disordini civili. Questo fu l'ultimo grande programma di fortificazione del castello. La maggior parte delle strutture per l'artiglieria e per le armi da fuoco risalgono a questo periodo.

 

Durante la prima guerra mondiale, undici uomini furono processati nella Torre per spionaggio e fucilati da un plotone d'esecuzione. La Torre fu nuovamente usata per ospitare prigionieri di guerra nella Seconda Guerra Mondiale e tra questi vi fu, anche se per soli 4 giorni nel 1941, Rudolf Hess, il vice di Adolf Hitler. Egli fu l'ultimo prigioniero di stato detenuto presso il castello. L'ultima persona ad essere giustiziata nella la Torre fu la spia nazista Josef Jakobs il 15 agosto 1941. Sempre durante il secondo conflitto mondiale, la Torre fu utilizzata per l'ultima volta come fortificazione: in caso di un'invasione tedesca, la Torre, insieme con la Royal Mint e i magazzini posti nelle vicinanze, avrebbero costituito le ultime difese della capitale.