Guglielmo inviò un gruppo di suoi fedeli in anticipo per preparare la città al suo ingresso e costruire un castello; secondo le parole del biografo di Guglielmo, Guglielmo di Poitiers, "alcune fortificazioni sono state completate in città contro l'inquietudine dell'enorme e brutale popolazione. [Guglielmo] Si rese conto che si trattava di primaria importanza per intimidire i londinesi". Al momento, Londra era la città più grande dell'Inghilterra; la fondazione dell'Abbazia di Westminster e dell'antico palazzo di Westminster, avvenuti sotto il regno di Edoardo il Confessore, aveva posto un centro di governo, tuttavia un efficiente porto era fondamentale per i Normanni al fine di controllare la navigazione. Gli altri due castelli Londra, il castello di Baynard e il castello di Montfichet, furono edificati nello stesso tempo. La fortificazione che più tardi sarebbe divenuta nota come la "Torre di Londra" fu costruita sul sud-est delle mura romane, usandole come difese già esistenti e con il fiume Tamigi che forniva una protezione aggiuntiva a sud. Durante questo periodo più antico, il castello sarebbe stato circondato da un fossato e difeso da una palizzata di legno e, probabilmente, disponeva di un alloggio per Guglielmo.

 

La maggior parte dei primi castelli normanni furono inizialmente costruiti in legno, ma dalla fine dell'XI secolo alcuni, tra cui la Torre di Londra, furono restaurati o sostituiti con la pietra. Si ritiene che i lavori per la White Tower, che dà il nome a tutto il castello, siano iniziati nel 1078, ma la data esatta è incerta. Guglielmo nominò Gandolfo, vescovo di Rochester, responsabile per la sua costruzione, anche se potrebbe essere stata completata solo dopo la morte di Guglielmo, avvenuta nel 1087. La White Tower fu la prima fortezza in pietra in Inghilterra, e fu anche il punto di forza del primo castello. Al più tardi, fu probabilmente finita nel 1100 quando il vescovo Rainulfo Flambard vi fu imprigionato. Flambard, fu anche il primo a fuggire da essa, grazie a una corda portata di nascosto in una botte di vino. Tale fuga avvenne con una tale sorpresa che un cronista contemporaneo accusò il vescovo di stregoneria.

 

La cronaca anglosassone registra che nel 1097 re Guglielmo II ordinò la costruzione di un muro attorno alla Torre di Londra; probabilmente fu realizzato in pietra a sostituzione della palizzata di legno e descrisse un arco intorno ai lati nord e ovest del castello, tra le mura romane e il Tamigi. La conquista normanna di Londra si manifestò non solo con una nuova classe dirigente, ma con una strutturazione diversa della città. Il terreno confiscato fu ridistribuito tra i Normanni e, per motivi finanziari, fecero il loro arrivo centinaia di ebrei sotto la protezione diretta della Corona. Agli ebrei fu consentito l'uso della Torre come rifugio, quando erano minacciati dalla violenza antiebraica.

 

Nel 1135, la morte di Enrico I lasciò l'Inghilterra con una successione contestata; anche se il re aveva convinto i suoi più potenti baroni di giurare il supporto per l'imperatrice Matilde, pochi giorni dopo la morte di Enrico, Stefano di Blois giunse dalla Francia per rivendicare il trono. Il castello, che non sempre era utilizzato come residenza reale, era talvolta posto sotto il controllo di un conestabile, una carica ricoperta in quel momento da Geoffrey de Mandeville. Essendo la Torre considerata una fortezza inespugnabile posta in una posizione strategicamente importante, il suo possesso era fondamentale. Mandeville ne approfittò vendendo la sua fedeltà a Matilde dopo che Stefano fu catturato nel 1141 nella battaglia di Lincoln. Tuttavia, l'anno successivo rivendette la sua lealtà a Stephen. Attraverso il suo ruolo di Conestabile della Torre, Mandeville divenne "l'uomo più ricco e più potente d'Inghilterra". Quando cercò nuovamente di utilizzare lo stesso stratagemma, questa volta tenendo colloqui segreti con Matilda, Stephen lo fece arrestare, lo costrinse a cedere il controllo del castello e lo sostituì con uno dei suoi sostenitori più fedeli. Fino ad allora la carica era ereditaria, originariamente detenuta da Geoffrey de Mandeville (un amico di Guglielmo il Conquistatore e antenato del Geoffrey che trattò con Stefano e Matilde), ma vista l'importanza strategica da allora l'incarico fu affidato dal monarca a una persona di sua fiducia. Anche se il conestabile era ancora responsabile del mantenimento del castello e della sua guarnigione, gli venne affiancato un subordinato che lo aiutasse in questo compito: il "Luogotenente della Torre". I contestabili avevano anche doveri civici relativi alla città. Di solito erano responsabili della riscossione delle tasse, di far rispettare la legge e mantenere l'ordine. Nel 1191, l'istituzione della carica del Lord Mayor di Londra tolse al conestabile molti dei poteri civili e ciò, a volte, portò a scontri tra i due.