A súa construción iniciouse cara ao século X, aproveitando posiblemente unha fortificación anterior. O castelo aproveita as ladeiras empinadas do monte do Castelo, rodeado dos vales do río do Castelo das Eiras e do río Sil, a carón da estrada N-120.
Na parte exterior conserva os muros, foxos e defensas. No interior mantén a torre da homenaxe, a parte máis antiga do conxunto. Ten planta cadrada, cunha porta con bóveda de medio punto cara ao sur. Esta porta é de pedra cabaleira, dunha cor loura intensa por mor do alto nivel de oxidación do ferro que contén. O pazo, do século XI, é de planta trapezoidal e foi construído polos Cabaleiros de San Xoán de Malta. Na entrada, tamén de arco de medio punto, hai unha Cruz de Malta gravada. Ten tamén unha ventá aximezada.
