På Folketingets bud ”høstes” den danske kulturarv på internettet, men det sker med arrogant og hæmningsløst overforbrug af båndbredde.
Jeg har før skrevet om, hvordan Netarkivet (Det Kongelige Bibliotek og Statsbibliotekets webcrawlere) opfører sig aldeles hensynsløst, når de ”høster” den danske del af internettet.
Forleden var min server ualmindelig sløv i betrækket, fordi CPU-belastningen lå på 100 % det meste af tiden. Det viste sig, at Netarkivet var på spil igen; mit websted blev ”høstet” af deres crawlere.
Ganske vist skete det som lovet mere skånsomt end sidst, idet der nu var 5 sekunder mellem hver forespørgsel i stedet for 1, men til gengæld varede det længere og i ”den bedste sendetid”. De brugte også to crawlere på én gang, så de 5 sekunder kan divideres med 2.
Mit website fylder godt 472 megabytes på disken, og med overhead bliver det samlede forbrug af båndbredde endnu større, når det hele skal hentes ned, og det tager mange timer. Det værste er dog, at der høstes helt unødvendigt.