A Duna melletti lapályon Károly Róbert kezdte építeni a hatalmas palotát. Már a XV. század elején felújításra szorult. A legjelentősebb építkezésekre Mátyás idején került sor. Ekkor készült el a palota híres díszudvara a gótikus kerengővel és a reneszánsz erkélyfolyosóval. A díszudvar közepén állt a Herkules kút, melyhez hasonlót csak Itáliában lehetett találni. A királynak az "oroszlános udvar“ mellett gőzfürdője volt, hideg, illetve meleg kádas medencékkel. A királyné számára külön palotaszárny épült, a déli oldalon. A két épületegyüttes között, egy felső teraszon állt a Szent György kápolna, melynek színes mázas tetőcserepei már messziről láthatóak voltak. A palotának komoly vízvezeték-, csatorna- és padlófűtésrendszerei, csodálatos kútjai voltak.
Ezt az egykori fényes világot igyekszik bemutatni a palotában több helyiségben újonnan megnyitott kiállítás. Tavasszal a palota ad otthont a visegrádi vitézi játékoknak.