Il Palazzo in stile barocco venne edificato su iniziativa di Giuseppe Antinori, su progetto dell'architetto romano Francesco Bianchi, per divenire dimora della nobile famiglia Antinori di Perugia. Nel 1720 un giovanissimo Carlo Goldoni, residente in città a seguito del padre medico, eseguì qui - nelle adiacenze dell'odierna Sala Goldoniana - la sua prima recita. La facciata, caratterizzata da blocchi di grandi finestre, cornicioni in mattoni e pilastri, venne realizzata da Pietro Carattoli tra il 1748 e il 1758.

 

Nel 1875 il Palazzo venne acquistato da Romeo Gallenga Stuart e assunse l'attuale nome. Nel 1926 il Conte Gallenga Stuart cedette il palazzo al Comune di Perugia, e dal 1927 il Palazzo divenne sede dell'Università per stranieri di Perugia. Nel 1931 un facoltoso studente statunitense, Frederick Thorne Rider, poi divenuto cittadino onorario di Perugia, elargì un'ingente donazione all'Università, che consentì di realizzare la facciata posteriore e una nuova ala del palazzo.

 

Di notevole pregio architettonico sono il vestibolo e lo scalone d'ingresso. All'interno dell'Aula Magna, progettata dall'architetto Dino Lilli, è conservato un ciclo d'affreschi realizzato dal pittore futurista Gerardo Dottori negli anni trenta, denominato L'apoteosi di Roma.