Il Castello, edificato in epoca medievale, per le sue originarie esigenze di difesa occupa il punto più alto del paese, dal quale è possibile dominare visivamente l'intero territorio circostante e l'intera Valle del fiume Agri.
Situato a 1023 metri di quota sul livello del mare, reca, sul muro di levante, una pietra su cui è inciso il simbolo di Mitra, della quale si ebbe culto a Grumento, dalle cui rovine o da quelle della contrada Marcina, sembra dovesse provenire.
Gravemente danneggiato dal terremoto del 1857, è andato gradatamente deperendo fino a raggiungere l'attuale conformazione.
Restano dell'antico Castello tratti delle Mura e parti significative delle tre Torri Angolari, tre torri che compaiono nello Stemma del Comune.
La trasformazione in Castello delle torri di avvistamento longobarde sembra sia stata effettuata in epoca normanna, ma ha subito delle modifiche anche in epoca angioina.