Secondo lo storico aretino Giorgio Vasari, il progetto del Palazzo Di Arnolfo fu del famoso architetto Arnolfo di Cambio. Egli, avrebbe pianificato anche la struttura della città, conferendole un aspetto tipico delle Terre Nuove. Infatti, la città di San Giovanni Valdarno fa parte del progetto di Firenze del 1300, che consisteva nel progettare città con pianta rettangolare aventi una porta in ogni lato e strade perpendicolari che si incontrano in una piazza principale. Il Palazzo svolse funzioni militari e di governo come edificio pretoriale e oggi è sede del museo delle Terre Nuove.

 

L'impianto medievale, rimaneggiato già nel Quattrocento, ha goduto di lavori di restauro che lo hanno riportato all'antico splendore. La struttura originaria del Palazzo non è quella che possiamo ammirare oggi; esso nel tempo è stato ampliato sia in lunghezza che in larghezza. Per la sua similitudine con Palazzo Vecchio a Firenze, San Giovanni viene chiamata "La Firenze in miniatura".

 

Palazzo d'Arnolfo ospita Il Museo Delle Terre Nuove che spiega, con percorsi anche interattivi, la storia di questo fenomeno che interessò il Valdarno nel corso del 1200-1300.

 

Il piano terreno è costituito da un ampio porticato con quattro arcate sulle facciate e sei sui fianchi, sostenute da pilastri ottagonali ornati con gli stemmi della città dominante: il giglio fiorentino, emblema di Firenze, e l'aquila, emblema del partito dei guelfi. Nell'atrio della struttura viene conservato l'originale del marzocco, una statua posta su un alto piedistallo di pietra che personifica il dominio fiorentino sulla città: un leone seduto che regge con la zampa lo scudo gigliato. Alle pareti, di notevole interesse sono gli stemmi affrescati che rappresentano le famiglie di rilievo del paese.

 

Il primo piano presenta sulle facciate due loggiati su colonne e capitelli di stile rinascimentale. Una torre emerge dal centro della parete posteriore, con un doppio ordine di finestre ed è completata da una merlatura.

 

La facciata, forse la parte più rilevante dell'intero edificio, è contraddistinta da oltre duecentocinquanta blasoni, che rappresentano gli stemmi rimasti di tutti i vicariati della città, dal più antico del 1410 al più recente del 1769. Queste decorazioni sono realizzate in pietra o in ceramica e altri sono scolpiti nei pilastri dell'edificio, o ancora sono dipinti ad affresco. Gli stemmi sono operato della famiglia Della Robbia, sculturi specializzati nella tecnica della terracotta invetriata policroma.