Cando a dinastía premislida se asentou na actual zona do Castelo de Praga,[1][2] os dous castelos mantiveron esferas de influencia opostas durante ao redor de dous séculos. Este segundo asento dos soberanos bohemios foi erixido sobre unha rocha escarpada directamente sobre a marxe dereita do río Moldava no século XX. O cumio de Vyšehrad foi durante a segunda metade do século XI, cando Ladislau II trasladou a súa sede dende o Castelo de Praga, e a fortaleza orixinal foi remodelada como un complexo que comprendía residencia palaciana do soberano e unha igrexa. O período de crecemento rematou ao redor do ano 1140, cando o príncipe Sobeslao trasladou de novo a corte cara ao Castelo de Praga.
Cando o emperador Carlos IV comezou a reformar o Castelo de Praga para medrar até ás súas dimensións actuais século XIV, o castelo de Vyšehrad deteriorouse e foi abandonado como residencia real. Con todo, o complexo foi posteriormente renovado polo propio Carlos IV, construíndose novas fortificacións, con dúas novas portas e un Palacio Real mentres que a Basílica de Padro e San Paulo foi reparada. A principios da guerras husitas, Vyšehrad foi conquistado e saqueado polos husitas en 1420 e novamente en 1448 polas tropas do rei Xurxo de Podiebrad. O castelo foi abandonado e converteuse en ruínas. Someteuse a unha renovación no século XVII, cando a dinastía dos Habsburgo se fixo cargo das Terras Checas despois da Guerra dos Trinta Anos e foi remodelado en 1654 como fortaleza barroca, converténdoo nun centro de formación para o Exército de Austria, para ser posteriormente incorporado como parte da muralla barroca de Praga.
A forma actual de Vyšehrad como residencia fortificada,[2] coas grandes murallas de ladrillo, bastións e o Tábor e as Portas de Leopoldo, é resultado da remodelación barroca. O Cihelná brána (do checo: porta de ladrillo) é unha estrutura de estilo imperial de 1841. A parte principal da Porta de Špička, partes da ponte románica e o miradoiro gótico en ruínas de Libušina lázeň son os únicos fragmentos que se conservan da Idade Media. A rotonda románica de San Martiño data da segunda metade do século XI. Do século XI é tamén a Basílica dos Santos Pedro e Paulo que domina Vyšehrad, posteriormente remodelada na segunda metade do século XIV, e novamente entre 1885 e 1887 con estilo neogótico. Vyšehrad e a súa área circundante convertéronse en parte da cidade en 1883. Hoxe a zona é un dos distritos catastrais de Praga.