Hij is getrouwd met Johanna Cornelia van Tuyll van Serooskerken.
Zij zijn getrouwd op 21 oktober 1852 te 's Gravenhage , hij was toen 44 jaar oud.
Kind(eren):
Burgemeester van Barneveld
Het huis De Schaffelaar is één van de kenmerkendste elementen van het Barneveldse dorpsgezicht. Het is echter minder oud dan veel mensen denken, want het dateert uit het midden van de 19e eeuw. De "eerste" steen met de inscriptie "18 1/4 52 J.H.Br.V.Z." is met enige moeite nog te vinden in de noord-west hoek van het bouwwerk. Deze tekst geeft aan dat de steen op 1 april 1852 door Jasper Hendrik baron van Zuylen (van Nievelt) is ingemetseld. Jasper Hendrik was de man die het huis - "het kasteel", zoals Barnevelders het met enige trots noemen - heeft laten bouwen.
Jasper Hendrik van Zuylen van Nievelt en zijn echtgenote Jeanne Cornelie van Tuyll van Serooskerken wilden ook aan het interieur grote aandacht besteden. De plafonds werden versierd met van gips vervaardigde druipsteenmotieven. Volgens de overlevering verging hun de lust om de decoraties te voltooien toen hun zoontje stierf.
Hun dochter trouwde met A.W.J.J. baron van Nagell, die veertig jaar burgemeester van Barneveld zou blijven. Na 1935 werd de Schaffelaar wegens de steeds stijgende exploitatiekosten niet meer permanent bewoond. Tijdens de oorlog diende het, samen met De Biezen, als reserveringskamp voor bijna 700 joodse Nederlanders. Op 29 september 1943 werden zij naar Westerbork vervoerd en vervolgens naar het concentratiekamp Theresienstadt. De meesten van hen wisten de oorlog te overleven. Na de joden werden er bejaarden ondergebracht die wegens bombardementen de Randstad waren ontvlucht.
Na de oorlog huisvestte het gebouw achtereenvolgens een revalidatiecentrum voor oorlogsinvaliden, de Stafschool Bescherming Bevolking, een typeschool en een sportschool.
In 1967 verkocht de toenmalige eigenaar, mevrouw J.L.A. Clifford Kocq van Breugel - baronesse van Nagell, het "kasteel" voor het symbolische bedrag van 1 gulden aan de gemeente Barneveld met de verplichting het inmiddels op de monumentenlijst geplaatste gebouw te laten restaureren. Het omringende landgoed kwam in het bezit van het Geldersch Landschap.
De restauratie duurde van september 1977 tot december 1979, waarbij onder meer de kort na de oorlog gesloopte toren werd herbouwd. De Schaffelaar werd op 9 april 1980 officieel heropend door Prins Bernard en biedt sindsdien onderdak aan buitenlandse studenten van het Innovatie- en Praktijkcentrum Dierlijke Sectoren, internationaal ook bekend als "Barneveld College".
De laatste jaren is en wordt veel werk verzet om de tuin en het bos een waardiger aanzien te geven.
http://www.henrifloor.nl/teksten/barneveld.htm
=================================================
Jasper Hendrik baron van Zuylen van Nievelt (Arnhem, 8 september 1808 - Barneveld, huize de Schaffelaar, 15 maart 1877) was een zoon van Coenraad Jan baron van Zuylen van Nievelt (1779-1837) en Clementia van der Nieuwpoort (1781-1847).
Van Zuylen van Nievelt was een broer van de burgemeester van Barneveld, Gerrit Willem van Zuylen van Nievelt. Hij trouwde met Jeanne Cornélie Van Tuyll van Serooskerken (1822-1890). Zij kregen een dochter en een zoon. Hun dochter Johanna Magdalena Cornelia barones van Zuylen van Nievelt trouwt met Anne Willem Jacob Joost baron van Nagell, die tevens burgemeester van Barneveld was.
Van Zuylen van Nievelt was de opdrachtgever van de bouw van een nieuw neogotisch Kasteel de Schaffelaar in het dorp Barneveld. Hij had landgoed de Schaffelaar geërfd van zijn gelijknamige oud-oom. Op 1 april 1852 legde Jasper Hendrik baron van Zuylen van Nievelt de eerste steen voor dit nieuwe huis, dit was 250 meter dichter bij het dorp dan het oorspronkelijke huis dat gebouwd was op de Koewei in het Schaffelaarse bos. De architect van dit nieuwe kasteel de Schaffelaar is A. van Veggel.
In 1967 verkocht de toenmalige eigenaresse, de achterkleindochter van Jasper Hendrik baron van Zuylen van Nievelt, Jeanne Linnie Alice Clifford Kocq van Breugel-barones van Nagell (1918), vrouwe van Schaffelaar het "kasteel" voor het symbolische bedrag van fl. 1,- aan de gemeente Barneveld.
Bron: http://www.familysearch.org/eng/search/PRF/individual_record.asp?recid=1030898004
De getoonde gegevens hebben geen bronnen.