Era la sede storica delle Magistrature cittadine sin dall'Alto Medioevo e, a partire dall'XI secolo, con la nascita della Repubblica di Ancona, fu il luogo dove si riuniva il Consiglio degli Anziani, da cui prende il nome. Il Palazzo vanta origini antichissime. Lo storico Lazzaro Bernabei cita una secolare tradizione secondo cui il primo edificio venne fatto costruire nel 425 d.C. da Galla Placidia, tutrice del figlio Valentiniano III imperatore romano d'Occidente, come sede dell'amministrazione imperiale. Questo primo edificio nell'839 venne seriamente danneggiato nel corso dell'invasione saracena.

 

Adiacente alle mura dell'edificio attuale, su via Rupi Comunali, sono visibili resti del palazzo tardo-antico, del VI-VII secolo, con la base di una torre ed un oratorio, o sacello, di carattere stilistico bizantino. Quest'area archeologica è visitabile solo in occasioni particolari.

 

L'edificio attuale venne eretto nel 1270 su disegno di Margaritone d'Arezzo, come afferma Giorgio Vasari, in stile gotico. Costruito in un terreno molto scosceso, si presenta alquanto particolare nella sua struttura architettonica, appoggiandosi al pendio e avendo originariamente sei piani verso il porto e solo tre verso la collina. Ha due fronti principali, uno occidentale (o inferiore), verso il mare, e l'altro orientale (o superiore), verso la piazza antistante; a causa del dislivello del terreno, il piano terra del fronte superiore corrisponde al terzo piano del fronte inferiore.

 

Il fronte verso il porto conserva in linea di massima le forme datole da Margaritone, con l'alto basamento ad arconi ogivali in calcare bianco del Conero e il resto della struttura in laterizi, dove si aprono tre ordini di aperture: il primo a semplici archi gotici che danno accesso ad un marciaronda, il secondo a bifore, il terzo ad archetti incrociati.

 

Il fronte superiore, modificato poi nel Seicento, era completamente in calcare del Conero ed aveva al pian terreno un porticato e al primo piano un loggiato, configurandosi quindi come una facciata ove prevalevano i vuoti sui pieni, con il suo doppio ordine di archi gotici. Al primo piano la facciata superiore era decorata da una serie di bassorilevi, della mano dello stesso Margaritone, rappresentanti storie bibliche.

 

Con la dominazione pontificia si eseguirono finalmente i lavori di recupero, per adibirlo nuovamente a sede dell'amministrazione cittadina.

 

Nel 1563 venne interrata parte della facciata superiore per pareggiarne il livello della piazza e solo l'anno seguente venne ripresa la ristrutturazione dell'edificio.

 

Dal 1564 al 1571 Pellegrino Tibaldi ne avviò i lavori e ne ridisegnò la facciata superiore, chiudendo le logge e aprendo una serie di finestre a timpani spezzati. L'opera di Tibaldi al palazzo è frutto di attribuzione.. Tutti i bassorilievi che si trovavano sulla facciata e la scultura dell'autore dello statuto del libero comune, Pellegrino De' Rossi, vennero rimossi e collocati all'interno del palazzo.

 

Nel 1647 si avviò una ristrutturazione interna, come ricordano i gigli scolpiti in un blasone, per volere dei Pamphilj, con la creazione dello scalone e la sopraelevazione centrale del tetto per alzare il soffitto del salone d'onore.

 

In questa occasione venne realizzata la facciata laterale, dominata da una campanile a vela e da un orologio a sei ore ad esso collegato.

 

Dopo l'ingresso di Ancona nel Regno d'Italia, vennero poste sulla facciata laterale seicentesca due targhe a ricordo della medaglia d'oro a Emilio Bianchi e alla medaglia come benemerita del Risorgimento nazionale conferita alla città. Nella facciata superiore, invece, fu posta una targa commemorativa in memoria di Giuseppe Garibaldi. Nel 1844 il pittore Francesco Podesti realizzò, appositamente per il palazzo, il grande dipinto Il Giuramento degli Anconitani su commissione del consiglio comunale.

 

L'edificio rimase sede dell'amministrazione comunale fino al 1947; venne gravemente danneggiato nel corso dei bombardamenti di Ancona del 1943, a causa dei quali si persero le volte del salone e dello scalone, alcune sale e gran parte delle sontuose decorazioni interne, tra cui rivestimenti seicenteschi in cuoio veneziano. A causa della distruzione della chiesa gotica di Santa Maria della Misericordia, la facciata verso il mare, che si era sempre affacciata sulla stretta via dei Magazzini Comunali, si trovò completamente libera. A causa dell'inagibilità dell'edificio fu allora necessario trasferire la sede dell'amministrazione cittadina al Palazzo del Popolo.

 

Riparati i danni della guerra, il Palazzo degli Anziani fu sede della Pinacoteca civica Francesco Podesti, sino al 1973, quando essa fu trasferita a Palazzo Bosdari; è rimasto per errore all'interno del palazzo, murato al pian terreno superiore, un bassorilievo quattrocentesco proveniente dalla chiesa di San Francesco ad Alto, di proprietà della Pinacoteca: la Visione del beato Gabriele Ferretti, mentre alcune sculture di Margaritone seguirono i dipinti nel trasferimento.

 

Il 15 luglio 1970 venne qui siglato il gemellaggio fra le città di Ancona e Spalato dai due sindaci Alfredo Trifogli e Jakša Milicic.

 

Il palazzo divenne poi sede della Facoltà di Economia e Commercio dell'Università di Ancona sino al 1998.

 

Con il trasferimento della facoltà alla Caserma Villarey, il palazzo rimase vuoto e privo di funzione. Durante questo periodo l'antico edificio si apriva solo in occasione di visite scolastiche e fu occasionalmente usato come sede di importanti convegni internazionali. Tra essi il più significativo risale al 20 maggio 2000, quando fu qui firmata la "Dichiarazione di Ancona", atto di nascita dell'Iniziativa Adriatico Ionica, da parte dei Ministri degli esteri di Italia, Slovenia, Croazia, Bosnia ed Erzegovina, Albania, Grecia, alla presenza del Presidente della Commissione europea Romano Prodi.

 

Dopo l'ultimazione degli ultimi restauri agli interni, il 21 novembre 2011 il consiglio comunale è tornato nuovamente a riunirsi all'interno dell'antico palazzo. Dal mese di luglio del 2011, fino al 2016, nella storica struttura trovano inoltre posto gli uffici del Settore Frana del Comune di Ancona, affiancati dal 28 dicembre 2011 dagli uffici del Settore Logistica e Patrimonio della stessa amministrazione. Dal 2014 è attivo un ascensore pubblico gratuito, che porta dalla piazza lato mare alla soprastante piazza Stracca, dove si trova l'ingresso dell'edificio.

 

La facciata superiore del palazzo mostra ancor oggi reperti architettonici medievali, come il doppio ordine di logge ogivali in pietra del Conero, oggi murate, e due pannelli scultorei con scene bibliche (Il peccato originale e Morte di Lamech), gli altri sono conservati inopinatamente in due luoghi distinti: all'interno del palazzo e alla Pinacoteca civica Francesco Podesti.