Di fronte al teatro Gesualdo, sorge il castello della città. La prima parte del castello è stata realizzata sotto la dominazione dei Longobardi nel VI secolo d.C., cioè quando iniziò la rinascita del borgo di Avellino. Il castello è circondato dai fiumi Fenestrelle e Rio San Francesco, quest'ultimo interrato, su 3 lati e dalla collina della Terra a ovest, ma contrariamente a molti dei castelli irpini, sorge nel punto più basso della città. Il castello ha subito diversi assedi nel corso della sua storia, il più importante quello portato avanti dalle truppe di Alfonso d'Aragona nel 1436. Dimora di tutte le famiglie feudatarie di Avellino, ha ospitato anche gli imperatori del Sacro Romano Impero Lotario I ed Enrico VI e diversi sovrani di casa d'Angiò e d'Aragona. Fu qui che il 27 settembre 1130 l'antipapa Anacleto II consegnò a Ruggero II la bolla che lo fece re di Sicilia, avviando quindi la storia del regno dei Normanni in Sicilia e di casa Altavilla Quando nel XVI secolo divenne contessa di Avellino Maria de Cardona, il castello divenne meta di poeti e viaggiatori che vennero da tutt'Italia per ammirare la bellezza della contessa, come Bernardo Tasso, Giovanni Andrea Gesualdo e Beldando; avviò la creazione della foresteria dove prima sorgeva il casotto di caccia (nota anche come la Casina del Principe) e iniziò la creazione del parco del castello.