Nei pressi di Piazza Sant’Oronzo sorge il Castello voluto dal Re Carlo V nel 1539. Il progetto dell’edificio venne affidato all’architetto Gian Giacomo dell’Acaya e richiese la demolizione della Cappella di Santa Trinità e del Monastero Celestino di Santa Croce a cui furono intitolati due dei torrioni che compongono la fortezza.