{"id":9259,"date":"2012-09-02T15:30:59","date_gmt":"2012-09-02T13:30:59","guid":{"rendered":"http:\/\/\/\/sitestory.dk\/wordpress\/?p=9259"},"modified":"2014-12-31T23:29:11","modified_gmt":"2014-12-31T22:29:11","slug":"uopdragne-soegerobotter-spambots-og-hackere","status":"publish","type":"post","link":"https:\/\/sitestory.dk\/wordpress\/2012\/09\/02\/uopdragne-soegerobotter-spambots-og-hackere\/","title":{"rendered":"Uopdragne s\u00f8gerobotter, spambots og hackere"},"content":{"rendered":"

Om at finde og blokere uopdragne internet-robotter, der sluger din b\u00e5ndbredde, og som hverken vil dig eller de sm\u00e5 b\u00f8rn i Afrika noget godt.<\/strong><\/p>\n

Dette indl\u00e6g er langt og nok mest interessant for webmastere, men det skal ikke altid handle om mad, katte, rejser eller bes\u00f8g i byggemarkedet. \ud83d\ude09<\/p>\n

Da jeg havde ryddet op efter hackernes indbrud<\/a>, begyndte jeg (lidt sent!) at interessere mig for serverens access-logfiler: Hvem f\u00e5r egentlig adgang til mine sider, og hvad er de ude p\u00e5?<\/p>\n

Det gik op for mig, at selv en uskyldig hjemmeside som min t\u00e6ppebombes<\/strong> med foresp\u00f8rgsler fra bl.a. robotter: Programmer, der gennemtrawler nettet i legitimt, ligegyldigt eller skummelt \u00e6rinde. Det ser man bare ikke i de normale bes\u00f8gsstatistikker.<\/p>\n

Det er ikke kun s\u00f8gemaskiner, der bruger robotter. Spammere, hackere og andet afskum bruger dem ogs\u00e5. Robotterne kaldes ogs\u00e5 for crawlere, spidere og bots.<\/p>\n

Nogle er velopdragne og velkomne som fx Googlebot og Bingbot, da de bidrager til, at vi alle kan s\u00f8ge og finde. Okay, Googlebot bruger en del b\u00e5ndbredde, men Google er jo Google.<\/p>\n

Andre er ret ligegyldige. Det er fx robotter, der s\u00f8ger egnede sider til reklamer eller kigger efter, hvem der reklamerer hvor, s\u00e5 de kan s\u00e6lge deres services, hvad de s\u00e5 end g\u00e5r ud p\u00e5.<\/p>\n

Og s\u00e5 er der banditterne. Nogen pr\u00e6senterer sig end ikke ved navn eller bruger s\u00e5gar falsk identitet og kalder sig fx Googlebot. De sniger sig ind og gr\u00f8nth\u00f8ster din side til skumle form\u00e5l, som med garanti ikke er i din interesse.<\/p>\n

Nogen leder fx efter s\u00e5rbare WordPress plugins, de kan bruge til at hacke siden, andre h\u00f8ster e-mailadresser til spam, og s\u00e5 er der robotter, som poster spam-kommentarer p\u00e5 blogs og i g\u00e6steb\u00f8ger.<\/p>\n

I august brugte Googlebot 237 mb b\u00e5ndbredde p\u00e5 mit dom\u00e6ne, sitestory.dk, og Google er flittig, men de uopdragne robotter brugte i samme m\u00e5ned mere end 600 mb, og det var inden jeg begyndte at formene dem adgang!<\/p>\n

Og det var endda kun de robotter, der pr\u00e6senterede sig som robotter \u2013 alle de skumle, som optr\u00e6der anonymt eller under falsk identitet, er ikke talt med.<\/p>\n

<\/p>\n

Om at f\u00e5 overblikket<\/h3>\n

I brugerinterfacet (cPanel og Awstats) p\u00e5 min server har jeg mulighed for at se en del om de bes\u00f8gende, men der er mange ting, jeg ikke<\/strong> kan se, og det er ikke alle robotter, der identificeres med navn. Man skal ned i de originale adgangs-logfiler for at komme i dybden.<\/p>\n

Logfiler kan imidlertid v\u00e6re uoverskuelige med mange tusinde poster, s\u00e5 jeg har skrevet et program til Excel, hvor jeg hurtigt kan se, hvilke robotter der har v\u00e6ret p\u00e5 bes\u00f8g, hvem der hotlinker til mine billeder, hvem der pr\u00f8ver at l\u00e6gge spam-kommentarer p\u00e5 min blog, hvem der sender \u201dhacker-f\u00f8lere\u201d ud m.m.<\/p>\n

Hvordan styrer man robotterne?<\/h3>\n

Der er to muligheder: Der er den h\u00f8flige henstilling i robots.txt<\/a> (se nedenfor), og hvis den ikke respekteres, kan man skrue bissen p\u00e5 og blokere dem i en .htaccess-fil, der fungerer som \u201dportner\u201d ved indgangen til dine websider.<\/p>\n

Robots.txt er en simpel tekstfil, som udstikker retningslinjer for, hvad robotterne m\u00e5 og ikke m\u00e5, og hvem der fx bare skal skrubbe af. Problemet er bare, at de uopdragne robotter er rystende ligeglade.<\/p>\n

Tag nu den russiske s\u00f8gemaskine Yandex; dens robotter spiser b\u00e5ndbredde som slik uden at tage ret meget hensyn til, at serveren ogs\u00e5 har andre kunder.<\/p>\n

G\u00e5r man ind p\u00e5 deres hjemmeside, foregiver de at v\u00e6re velopdragne og skriver, at de l\u00e6ser og retter sig efter, hvad der st\u00e5r i robots.txt.<\/p>\n

Det er bare l\u00f8gn. Yandexbot respekterede i hvert fald ikke mit nej tak til bes\u00f8g, s\u00e5 nu f\u00e5r den et los i sin russiske r… N\u00e5r den banker p\u00e5, m\u00f8des den med: \u201d403 \u2013 Forbidden\u201d<\/strong>. Yt med Yandex!<\/p>\n

Det samme g\u00e6lder for nogle af den kinesiske Baiduspiders spejdere. Baiduspider har st\u00f8vsuget min side og er (med nogle f\u00e5 forvirrende undtagelser) bed\u00f8vende ligeglad med robots.txt. Bye-bye Baidu!<\/p>\n

Jeg har ikke mange russiske og kinesiske l\u00e6sere, der vil mig det godt, tv\u00e6rt imod kommer de fleste \u201dhacker-f\u00f8lere\u201d fra Kina, Ukraine og Rusland, s\u00e5 jeg har det helt fint med, at Baidu, Yandex og Arefs (ukrainsk robot) ikke l\u00e6ngere indekserer mine sider.<\/p>\n

Der er mange flere navngivne robotter, man kan s\u00f8ge oplysninger om, n\u00e5r man finder dem i sine logfiler. Nogle er ganske uskyldige, mens andre bestemt ikke er sendt ud i cyberspace for at hj\u00e6lpe de sm\u00e5 b\u00f8rn i Afrika.<\/p>\n

De robotter, jeg ikke vil have ind, f\u00e5r f\u00f8rst en chance for at bevise, at de l\u00e6ser robots.txt og er velopdragne. Hvis jeg s\u00e5 ser, at de forts\u00e6tter deres raid, f\u00e5r de sparket.<\/p>\n

Hackere og spammere, som ikke pr\u00e6senterer sig, n\u00e5r de banker p\u00e5 og pr\u00f8ver noget beskidt, efterlader ogs\u00e5 deres digitale fodaftryk – ofte ved en 404-fejl (fil ikke fundet). De f\u00e5r s\u00e5 sparket, hvis de vender tilbage med samme IP-adresse p\u00e5 skos\u00e5len.<\/p>\n

Man kan<\/strong> nemlig give dem sparket, hvis man \u201dbor\u201d p\u00e5 en Apache-server og har mulighed for at lave .htaccess-filer. Om jeg s\u00e5 i samme h\u00e5ndevending forhindrer nogle millioner kinesere i at bes\u00f8ge mine sider, tager jeg helt roligt.<\/p>\n

I de n\u00e6ste to indl\u00e6g om dette emne skriver jeg om, hvordan jeg identificerer robotterne, spammerne og hackerne med mit Excel-program, og hvordan jeg formener de u\u00f8nskede g\u00e6ster adgang til min webside.<\/p>\n

Andre indl\u00e6g om dette emne:<\/strong><\/p>\n