Mens muligheten for å kunne
forsvare bosettingen på Nesøya har vært grunn til at de første eiere bodde der,
ble det etter hvert viktigere for eierne å følge Kongen, tilhøre hans hoff og
hird. Alle de kjente eiere hadde viktige stillinger riksråd, sysselmann eller
høvedsmenn på festninger.
Betydningen av den befestede setegården
ble mindre, nå ble den et senter for å samle inn skatter og avgifter fra alle
de eiendommer som lå under setegården. Så selv om eieren fra tid til annen
besøkte eller bodde på Nesøya, trengte han noen til å drive setegården for seg.
Han trengte en driftig fogd som
kunne administrere og som var hard og bestemt, som kunne drive inn alle de
avgifter og skatter som leilendingene var pålagt.
Fogdene bygget skip, solgte varer til utlandet og
importerte varer som de solgte. De hadde store fullmakter, noen ganger bestyrte
de godset i årevis uten at eierforholdet var klarlagt.
De hadde menn til å beskytte seg når de krevet inn
skatt og ble en maktfaktor i området.
Nesøygodset må ha blitt bygget ut for å kunne ha plass til varer
som ble betalt som avgifter fra alle de gårder som ble liggende in Nesøygodset
og det måtte være plass til alle som var i tjeneste.
Fogden var den folk i Asker og
Bærum ble kjent med og det var en stilling hvor du ikke ble elsket, men heller
hatet.
Fogdene hadde makt i
lokalsamfunnet og noen ganger kunne de også utfordre høvedsmannen på Akershus
eller kjøpmennene i Oslo.
Siden det var fogden og ikke
eierne som bodde på setegården, har den vært mer beskjeden enn om det hadde
vært eieren som hadde bodd her. Disse ønsket vanligvis å vise fram sin rikdom
ved å bygge store herregårder, helst litt større en naboens, slik som man
kjenner herregårder i Sverige og Danmark. Men fogdene hadde sikkert også lyst
til å vise sin makt med flotte hus, klær, levesett og kjøretøy eller med gaver
til kirken.
Fru Mait Blehr har fortalt om et svensk ektepar
bosatt i Skåne, som kom for å besøke det adelsgodset som deres eiendom hadde
tilhørt i gammel tid. De hadde ventet seg et større gods og stor må deres
overraskelse ha vært da de kjørte opp foran det gamle hus på Hovedgården, et
hus som mest lignet på en svensk husmannsplass.