Nel 1623 l'albenganese Gio Maria Oddi fu Stefano, dottore in diritto civile e canonico, decide di lasciare in eredità la sua casa e una parte dei suoi beni per la creazione di un collegio e di una scuola superiore, per permettere agli ingauni di accedere all'università senza trasferirsi fuori città. L'atto notarile venne ricevuto dal notaio Giovan Battista Costa il 27 dicembre 1623, comprendeva inoltre una somma per l'Ospedale ed alle giovani povere della città, per le quali volle che venisse fondato a sue spese un monastero. Questa prima istituzione era gratuita e riservata a solo dodici ingauni privi dei mezzi per permettersi di studiare. Prima di mancare, Giò Maria acquisto la casa accanto alla sua collegandole. Il Comune di Albenga si inserirà nel 1628 ampliando il progetto e aprendo le lezioni a più cittadini e anche a forestieri, che parteciperanno in gran numero costringendo il Comune a prendere in affitto altre due case vicine. Per una clausola presente sul testamento, viene costruito sulla piazzetta di fronte al collegio una chiesa dedicata a San Carlo Borromeo, patrono dei seminaristi. La piccola chiesa venne collegata al collegio tramite un arco. Nei secoli successivi vengono acquistate prima le case in affitto e infine il palazzo e la torre della famiglia Lamberti; con quest'ultimo acquisto il collegio occupa tutto un isolato.

 

Nel 1629 viene affidata la direzione del collegio ai Padri Somaschi Berrettanti, che però vennero privati della licenza, anche di officiare nella chiesa di San Carlo Borromeo, venendo espulsi dalla città di Albenga nel 1664. La direzione passò al clero secolare che la tenne fino al 1772 quando il Comune di Albenga volle che il collegio passasse sotto l'ordine dei Fratelli delle scuole Pie. Nel 1797 passò sotto i Savoia che lo fecero diventare un Regio Collegio e successivamente un Regio ginnasio.

 

Nel 1842, un architetto si vide assegnare il compito di unificare internamente ed esternamente le strutture di proprietà del Collegio Oddi. È questo l'intervento che più di tutti segna questo palazzo, infatti la facciata principale venne resa continua, con la parte più bassa resa monumentale grazie all'uso di un bugnato più sporgente e grezzo, mentre le finestre vengono allineate. Gli interni vengono collegati, ma essendo l'edificio su più livelli spesso dentro si hanno delle rampe o delle piccole gradinate per permettere il collegamento tra i vari livelli dell'edificio. Il palazzo si articola su tre piani, il piano terra viene adibito alle aule, il primo piano ad aule studio, convitto, refettorio e cucina; il secondo piano il dormitorio per gli studenti forestieri.

 

Con l'Unità d'Italia, il collegio ospiterà le scuole elementari e il Regio ginnasio. Nel 1952 viene inserito nel complesso un asilo infantile e nel XX secolo viene inserita anche la scuola tecnica. La direzione del collegio era affidata ad un prete proposto dall'amministrazione civica e nominato direttamente dal Ministero della Pubblica Istruzione.

 

Il collegio Oddi mantiene le scuole e il convitto fino al 1940 quando tutte le scuole vengono trasferite nel nuovo complesso di via Dante Alighieri su un lascito di un albenganese, Tomaso Paccini, che fuori dalle mura decide che Albenga deve avere una scuola moderna. Tuttavia il convitto rimarrà attivo fino al 1955, altre stanze vennero usate in alcune occasioni per fini bibliotecari o come aule scolastiche. Il comune di Albenga decide di acquistarlo nel 1979 per dargli nuova vita, ma solo nel 2006 i lavori vengono terminati e il comune fonda una società con il compito di gestire la struttura. Nel 2009 la Palazzo Oddo s.r.l. viene trasformata in Fondazione Gian Maria Oddi. Dal 2013 è proseguito il recupero alla vita dell'intera struttura, oltre all'aumento di servizi per il pubblico, parte delle sale del piano terra sono state adibite a locale di ristorazione mentre in alcune stanze dell'attico è stato aperto un Bed and breakfast.

I convittori seguivano i corsi del ginnasio, alcuni dei quali erano aperti anche agli esterni. Tra le materie figuravano tre ore a settimana di francese e tre di calligrafia. Chi lo desiderasse, poteva anche seguire corsi di belle arti, musica, pittura e ballo. In compenso i convittori sopra i quindici anni, potevano seguire dei corsi di addestramento militare nei giorni di vacanza. I corsi per i bisognosi e i capaci erano gratuiti, ma per gli altri la tassa era di 35 lire, che comprendevano: vitto, lumi, lingeria da tavola, servizio a tavola e in camera. Nel 1852, con l'Unità d'Italia, i collegiali potevano indossare la divisa della guardia nazionale durante le loro uscite. I libri che si potevano leggere dovevano prima essere approvati dal rettore, se qualche ragazzo voleva qualche cosa in più questa aveva un costo aggiuntivo; le regole erano severissime, se un dipendente faceva compere per un ragazzo senza l'approvazione del Rettore, questi poteva anche essere licenziato.

La torre è di epoca medievale e si conserva ancora intatta, compresa la sua sommità con la merlatura ghibellina; ha una particolarità rispetto alle altre torri, infatti è dipinta fino alla sommità. La parte bassa è stata inglobata nell'intervento di riqualificazione della facciata nel XIX secolo.

 

Attualmente la struttura si articola su cinque piani, dopo il recupero del sotto tetto. È un intero isolato nel Centro storico di Albenga, con l'entrata principale in Via Roma. Ospita il museo di arredi funebri d'età romana, il piatto blu, la biblioteca civica Simonetta Comanedi, il fondo don Antonio Balletto di 30 000 volumi, ed il terzo piano è destinato ad ospitare mostre ed qui c'è una sala riunioni da 15 posti. La chiesa di San Carlo venne sconsacrata e recentemente convertita ad auditorium. All'ultimo piano ci sono uffici ed una sala musica.