Il castello di Carlo V è una costruzione massiccia, con due torrioni dai barbacani ogivali che lo rendono ancora più imponente. La prima edificazione, probabilmente ad opera dei Bizantini, risale al IX secolo. Fu poi fortificato e rimaneggiato in età normanna, sveva ed angioina. La pianta era di forma pentagonale, e presentava cinque torri sui vertici del perimetro. In età aragonese l’imperatore Carlo V ne modificò sostanzialmente la struttura architettonica, trasformando il maniero in una fortezza militare tra le più possenti in Italia. All’interno del nuovo impianto quadrato fu inglobata parte dell’antico castello e furono inseriti tre torrioni angolari in bastioni pentagonali. L’accesso alla porta principale della fortezza, inserita in una torre piramidale, era garantito da un ponte levatoio che sovrastava un fossato.
Nel corso del XIX secolo il manufatto venne parzialmente smantellato nella parte superiore, anche a causa dei danni subiti per i frequenti terremoti.