Het hofstelsel
In het Frankische rijk bestond het hofstelsel. Een landgoed of domein werd georganiseerd rond een hof. Daaromheen lagen de boerderijen van de horige boeren.
Horigen waren verplicht om een deel van hun tijd op het centrale hofland te werken. Deze boeren waren geen slaven, maar mochten ook niet zomaar weggaan.
Elke horige boer had een hoeve: een stuk grond met een oppervlakte van tien à vijftien hectare, dat ze mochten bewerken maar niet hun bezit was.
De hoven in het Rijnmond gebied
Ook Valkenburg (met Katwijk) en Rijnsburg waren hoven en wel van de graaf van Holland.
Het grafelijke hof lag in het midden: daar woonde de beheerder van de hof. Wanneer de graaf rondreisde om recht te spreken verbleef hij onderweg op zijn landgoederen, dus ook op de Valkenburgse hof. Deze hof was belangrijk, er was hier zelfs een toernooiveld.
De inwoners betaalden hun belasting aan de landheer vooral in natura, dat wil zeggen met goederen. In de Rijnmond brachten de vissers vis, de boeren en andere bewoners betaalden met kapoenen (hanen), hoenders (kippen) of hofgeld (rente).
In die tijd was er al een molen in Katwijk en ook het Valkenburgse veer bestond waarschijnlijk al.
De oudste vermelding van het hofstelsel in dit gebied is te vinden in het hofregister als “curtum Valkenburge”, rond 1122.
Luttige Geest
Het Valkenburgse hofland, Luttige Geest, lag tegen de duinen, ongeveer tussen de Rijn en waar nu het Panbos is.
In het zuiden kan Torenvliet het centrum zijn geweest van een nabijgelegen hof.
Het is niet bekend in welke tijd de Valkenburgse hof is ontstaan of wanneer zijn bloeiperiode was.
Deze hof was wel belangrijk omdat hij aan de monding van de Rijn lag, op een kruispunt van wegen.
Het hofland grensde in het noorden aan de zuidelijke oever van de Rijn. In het westen liep de grens langs de binnenrand van de duinen waar de Heerweg liep.
Doordat de Rijnmonding verzandde was er een doorgang en vormde deze weg een noord-zuid route.
De kerk uit de 9e eeuw (de oudste in de omgeving), de jaarmarkt en de grafelijke burcht die dichtbij lag, zijn een aanwijzing dat de Valkenburgse hof belangrijk was in het grafelijk kerngebied.
Het einde van Hof Luttige Geest
In de loop van de dertiende eeuw kwam hierin verandering. 
Graaf Willem II verkocht veel oude hoeven.
In 1248 werd alle grond van Valkenburg en Katwijk verkocht. Dat gebeurde ook met andere rechten, zoals het recht om penningen te innen, het zogenoemde kerkpatroon.
Dit werd in 1241 verkocht aan de Duitse Orde, een ridderorde die werd gesticht tijdens de Derde Kruistocht (1189-1192).