Il castello, sorto come fortino militare sul luogo dell’antico castrum bizantino, divenne nel tempo un’imponente dimora di famiglie nobili che ne modificarono l’aspetto originario. Più volte rimaneggiato, fu quasi completamente riedificato dalla famiglia Cavalcanti nel XVIII secolo. Nel 1885 l’architetto Mastrigli, su incarico del barone Guglielmo Barracco, aggiunse il rivellino ed una torre cilindrica merlata, detta Torre Mastrigli

.