Stavbu zámku započal [[Florián Gryspek|Florián Gryspek z Gryspachu]] roku [[1553]], tehdejší poradce českého krále [[Ferdinand I. Habsburský|Ferdinanda I.]], který v roce 1544 získal Nelahozeves a k ní náležící panství. Pro vybudování zámku byla zřejmě rozhodující poloha blízko pražské rezidence. Florián Gryspek si zámek Nelahozeves vyvolil jako svou soukromou rezidenci. Shromažďoval zde své sbírky. Nacházela se zde rozsáhlá knihovna, klenotnice a galerie. V jeho době se Nelahozeves stala známým a hojně navštěvovaným kulturním centrem. V zámecké obrazárně se nacházely díla převážně vlámských mistrů. Bylo známo, že Florián Gryspek vlasnilvlastnil i originální portrét [[Jan Žižka|Jana Žižky]]. Sbírání obrazů a cenonstí byla jeho záliba. Sbíral také písemnosti, především texty zabývající se moderní humanistickou filozofií, které shromažďoval ve své knihovně. V Nelahozevsi také napsal svá vlastní díla „Selský řád“ a „Instrukce pro úředníky“. Knihovna v Nelahozevsi přitahovala pozornost učenců a sloužila jako místo intelektuálních setkávání. Mezi učenci, kteří se zde scházeli patřil humanistický básník Matyáš Kolín (Collinus), kterého Gryspek po ztrátě majetku sponzoroval. Poté co Kolín musel přestat přednášet na [[Karlova univerzita|Karlově univerzitě]], začal soukromě přednášet v Nelahozevsi. K okruhu českých literátů na zámku patřila elita český básníků a sisovatelů jako Johann Serifaber a Martin Hanno, David Crinitus z Hlaváčova, Salomon Fraceltius a Thomas Mitis. Učenci se v Nelahozevsi setkávali v sále označovaném jako ''ráj'', což není běžné označení pro reprezentativní sál. Podle křesťanských představ lze ráj vysvětlit jako „místo vyvolených“. Sál se tak jmenoval do [[19. století]], ve [[20. století]] byl z neznalosti nazýván „rytířským sálem“. [[Florián Gryspek]] se v Nelahozevsi zdržoval hlavně na konci svého života. Právě zde také zemřel 29. března 1588.<ref>{{Citace monografie
