O castelo foi orixinalmente construído no século XI como sinal de poder dos reis normandos no norte de Inglaterra, xa que os pobos do norte seguían sendo salvaxes e rebeldes, pouco despois da chegada invasión normanda de Inglaterra de 1066. É un exemplo perfecto do tipo de castelos denominados mota and bailey, que se elevan sobre un promontorio natural facilmente defendible. O ocupante do bispado de Durham era designado polo Rei coa misión de executar a autoridade real no seu nome, e o castelo era o seu lugar de residencia.
O castelo posúe un amplo salón principal, creado polo bispo Antony Bek a comezos do século XIV. Era a sala máis ampla de Gran Bretaña até que o bispo Richard Foxe a acurtou a finais do século XV. Pese a esta reforma, ten 14 metros de alto e 30 de largo.
En 1837, o castelo foi doado á recente creada Universidade de Durham polo bispo Edward Maltby, como residencia para estudantes. Foi denominado "University College". O arquitecto Anthony Salvin reconstruíu a torre da homenaxe, e a residencia inaugurouse en 1840. Actualmente o castelo alberga 100 estudantes, a maioría dos cales viven na torre.
Entrada ao castelo.
O salón principal do castelo utilízase actualmente como comedor para estudantes e traballadores. A cripta baixo o salón, pola súa parte, serve como sala de reunión. As dúas capelas do castelo aínda están en uso, tanto para servizos relixiosos como para representacións teatrais. O castelo tamén dispón dunha biblioteca, oficinas universitarias e servizos de informática. Durante as vacacións, o castelo está dispoñible para organizar conferencias académicas e como hotel. O acceso ao castelo está limitado a visitas guiadas, dirixidas polos propios estudantes. Fóra destas visitas, só os residentes ou os hóspedes poden visitar o castelo.