Talán kevesen tudják még a környéken élők közül is, pláne azok között akik szállást panziót vagy hotelt keresnek Visegrádon, hogy manapság az egyik legkisebb városunk egykoron Magyarország fővárosa volt. Az Árpád-házi királyi ág 1301-es utód nélküli kihalását követően a XIV. század kezdetén Visegrád a felvidéki kiskirály, a trencséni oligarcha Csák Máté birtokába került. 1317-ben a Temesváron székelő Károly Róbert vagy I. Károly születési nevén Caroberto, (1308-1342) katonái ostrommal foglalták el a Visegrádi várat. 1323-ban az Anjou I Károly az uralkodó áthelyezte a királyság székhelyét Visegrádra. Az Alsóvár Vízi tornyát királyi szálláshellyé építették át, a második emelet keleti ablakát bejárattá alakították át, belül pedig a termeket keresztfalakkal osztották meg. Az ötödik szintet fedő fa födémet bordás boltozatokkal helyettesítették, ezáltal a torony felső teraszán nagyobb hajítógépeket lehetett felállítani, továbbá kiépült az Alsóvár belső falöve is. A fővárosi rang öröklődött Károly Róbert fia Nagy Lajos király (1342-1382) uralkodásának kezdetén is, míg nem a Nápolyi háborút követően székhelyét Budára helyezte át.A háború után 1355-ben a királyi udvar Budáról ismét Visegrádra tette át a székhelyét, ahol 1366-ra elkészült a kaputoronnyal szemközt, a hegyoldalba vágott teraszon az egyhajós királyi kápolna, a Szűz Mária kápolna. János kőfaragó királyi építőmester irányításával a királyi palota északkeleti részén felépült a szabályos, négyzetes alaprajzú, középudvaros, egyemeletes lakóépület, melynek északi oldalához fallal övezett gyümölcsöskertet telepítettek, míg a királyi palota déli részén Nagy Lajos – aki 1360-tól egyre több időt töltött diósgyőri várában – uralkodásának utolsó éveiben felépült a déli kerítésfal, valamint az ott álló épületekben valószínűleg a királyi pénzverde és a palota vezető tisztségviselőinek lakóházai kaptak helyet. Így egy 123x123 méteres, szabályos négyzet alaprajzú palotarész jött létre, melynek az északi oldalán a gyümölcsös húzódott.