Bernardo Xoán de Deza fundou este castelo no século XII aproveitando unha elevación próxima á confluencia dos ríos Deza e Ulla, dando nome ao lugar onde se ergueu. Anos máis tarde, a raíña Dona Orraca fíxose coa súa tiularidade, tras asediala e apreixar dentro dela ao seu propietario, que lla entregou para ser libre. A partir de entón, a raíña empregou a fortaleza como base de operacións para loitar contra o arcebispo Xelmírez para a conquista das súas propiedades.
O único que queda a día de hoxe en pé é a torre da homenaxe da fortaleza que fora levantada polo Conde de Altamira e desfeita polos irmandiños no ano 1467 a consecuencia do seu levantamento popular.
