Friezen, Franken en Noormannen
Toen de Romeinen vertrokken, verdwenen ook de Cananefaten, de Germaanse stam die leefde in het Rijnmondgebied. Het werd er stil en pas een paar eeuwen later ontstond weer nieuwe bewoning, vooral in de Zanderij. Rond 600 na Chr. was de Rijnmond een deel van het gebied van de Friezen, dat zich langs de kust uitstrekte van België tot aan Denemarken.
Katwijk lag in West-Frisia. Maar daarbuiten groeide het nieuwe rijk van de Franken, die zich als opvolgers van de Romeinen zagen.
Strijd om de Rijnmond
De Franken trokken steeds verder naar het noorden, totdat ze botsten met de Friezen. Na een eeuw van gevechten werd de laatste Friese koning, Redbad, in 719 overwonnen.
Valkenburg en Katwijk werden door de Frankische koning aan de St.-Maartenkerk in Utrecht geschonken, waarschijnlijk als belasting (de “tienden”) die men in die tijd aan de kerk moest betalen.
Niet lang daarna verschenen er Deense Noormannen voor de kust. 
Soms waren dat plunderende piraten, maar soms werden ze ook wel door Frankische heersers als graaf aangesteld.
De Rijnmond was een onderdeel van het Frankische rijk, waarover strijd plaatsvond. De bisschop van Utrecht (een hooggeplaatste geestelijke in de kerk), die het gezag had over het gebied, sloeg op de vlucht en had daarna geen macht meer over zijn Rijnlandse eigendommen.
Dit gaf de nieuwe Noormannengraaf een kans om Valkenburg en Katwijk in te nemen, met een deel van de plaats Hrothuluashem, waar nu Rijnsburg ligt.
De laatste Noormannengraaf was Godfried de Noorman, die in 885 werd vermoord door Gerulf. Omdat hij had geholpen om de Noormannen te verdrijven, kreeg Gerulf het graafschap langs de Rijn. Hij werd de stamvader van het Hollandse gravenhuis.
Vrede
Nu de kust weer veilig was kon de bisschop terugkeren naar Utrecht. Daar werd al gauw duidelijk dat graaf Gerulf de kerkelijke eigendommen in de Rijnmond in bezit had.
Er werd een lijst opgesteld van de vroegere bezittingen, waarin vermeld stond: “de kerk genoemd Valkenburg met alle toebehoren” en: “Hrothuluashem dat nu Rinasburg genoemd wordt”.
Waarschijnlijk had de graaf tijdens de afwezigheid van de bisschop een burcht gebouwd als verdediging tegen de Noormannen.
Het was een ringwalburg: een grote ronde aarden wal, waarin huizen stonden en waar de boeren naartoe konden vluchten.
In Rijnsburg is lang naar de burcht gezocht. Bij de laatste archeologische onderzoeken is duidelijk geworden dat het oude dorpscentrum precies op de plek van de burcht ligt, ongeveer het rondje Kerkstraat – Vliet – Smidstraat – Oude Vlietweg.
Rond 1050 is de burcht vervangen door een nieuwe burcht in Leiden, die nu nog op een heuvel midden in de stad ligt en waar je gewoon eens rond kunt wandelen en kijken.