Tag-arkiv: Excel

Program til analyse af websidens access log

8 svar

Download Excel regneark med makroer til analyse af hjemmesidens adgangs-logfil. Finder hotlinks, robotter, spambots og mulige slyngler.

Da jeg havde fået fjernet alle spor efter hackerne, som brød ind på min side, begyndte jeg at interessere mig for serverens logfiler, hvor alle besøg og anmodninger bliver logget.

Som jeg skrev i Uopdragne søgerobotter, spambots og hackere, gik det op for mig, at der er en trafik af den anden verden, og at der var en del, jeg ønskede at blokere for – især uopdragne robotter, som grovæder af båndbredden.

Logfiler kan imidlertid have mange tusinde poster, og så er det ret uoverskueligt at søge på må og få. Jeg skrev derfor et program (makroer/VBA) i Excel, som kan importere logfilen og udtrække de poster, jeg interesserer mig for, nemlig hotlinks til mine billeder, robotbesøg, ”hacker-følere”, mulige spambots samt lidt mere.

Altså ikke normal besøgsstatistik, men et overblik over gæster jeg måske helst slet ikke vil have ind, og som jeg kan afvise i min .htaccess-fil (mere om .htaccess i næste indlæg om dette emne).

Fx havde jeg besøg af følgende (navngivne) robotter fra ved middagstid den 7. september til næste dags morgen kl. 8:

  • Googlebot
  • Googlebot-Image/1.0
  • bingbot
  • http://www.web.nl/webmasters/spider.html
  • Corporate Spider
  • Googlebot-Mobile/2.1
  • Moreoverbot
  • http://boardreader.com/info/robots.htm)-CommentCrawler
  • R6_CommentReader(www.radian6.com/crawler)
  • http://www.proximic.com/info/spider.php
  • MJ12bot
  • AcoonBot
  • BlogSearch
  • Exabot
  • Googlebot-Mobile/2.1
  • msnbot-media/1.1
  • news bot
  • ezooms.bot
  • R6_FeedFetcher(www.radian6.com/crawler)
  • Sosospider
  • magpie-crawler/1.1
  • VoilaBot
  • Googlebot-Mobile/2.1
  • 5.1; Search

Hertil kommer nogle stykker, som jeg formener adgang, bl.a. Yandex og Baiduspider. Nogle på listen ovenover respekterer et pænt ”nej tak” og skrider, når de har læst robots.txt (fx ezooms, sosospider og magpie-crawler). Googlebot-Mobile står der tre gange, fordi den har brugt forskellige IP-adresser.

”Corporate Spider” er ny hos mig. Jeg kan se, at det er en spambot, og at min blokering af spambots virker, for den fik et ”403 Forbidden,” da den prøvede at poste en kommentar.

Regnearket til logfil-analyse

Læs resten →

Om at programmere i Excel med VBA

Skriv et svar

Kan andre gøre brug af det, man har lært, er det helt fint. Det er bl.a. den slags, der har gjort Internet til en revolution af vidensformidling.

En læser af mine sider om Excel VBA spurgte, om jeg kunne hjælpe hende med at skjule rækker i et regneark. Det skulle ske ud fra nogle bestemte kriterier.

Det var forholdsvis enkelt, når man ved hvordan, så jeg kunne hurtigt strikke et forslag sammen, som jeg tror, hun kan bruge.

Det med at skjule rækker eller kolonner er ikke noget, jeg selv har gjort brug af, men en søgning på nettet viste, at mange spørger om netop dette emne.

”Hvordan kan jeg skjule rækker eller kolonner med en makro, hvis sådan og sådan…”

Når så mange spørger, og løsningsforslagene (skønt velmente) ofte er af ringe kvalitet, er det et oplagt emne at tage op, så jeg lavede en side med forskellige eksempler. Der er også et regneark, man kan downloade.

Jeg er nok mere end almindelig nørdet, for det morer mig at løse den slags opgaver, og så er det ikke utilfredsstillende, at siderne om programmering i Excel er velbesøgte.

Hvis man som jeg arbejder meget med Excel på jobbet, er det særdeles tilfredsstillende at kunne automatisere rutineopgaver eller komplekse operationer, og efterhånden som man lærer hvordan, bliver det sjovt at finde nye veje til at gøre det endnu mere effektivt.

Og kan andre gøre brug af det, man har lært, er det bare helt fint. Det er bl.a. den slags deling, der har gjort Internet til en revolution af vidensformidlingen.

Du ved noget, og jeg ved noget, og når viden bliver tilgængelig, er det ret fascinerende at tænke på, hvad det kan føre til.

 

Sommerprogram med Excel og VBA

8 svar

Der er feriestille på cementfabrikken. Møderne er få, og det giver tid til at sysle med et nyt program til kemiske blandingsberegninger.

Jeg kan godt lide at arbejde, når de andre holder ferie. Mødernes antal skrumper gevaldigt ind, og det giver tid til andre ting.

Som at komme i bund med dyngerne og sysle med et nyt program i Excel VBA (makroer) der kan beregne, hvor meget der skal bruges af dit og dat for at producere en cement med en given kemisk sammensætning.

Man skal også kunne lægge betingelser ind for alverdens ting. Det nytter fx ikke noget at beregne nogle mængder, som maskinerne ikke kan dosere. Det skal også kunne finde den økonomisk optimale blanding, når der er flere muligheder – det er ret omstændeligt i dag.

For godt 10 år siden lavede jeg et lignende program; det bruges stadig, men dengang var VBA nyt for mig, så det gamle program har mange begrænsninger.

I dag kan jeg lave det meget smartere. Hvor det gamle program fx kun kunne håndtere nogle få råstoffer og brændsler, vil det nye kunne styre 30.000 af hver. Mon ikke det er rigeligt? Skal jeg nøjes med 1000?

Når man først har styr på strukturen, tager det ikke så lang tid at lave den egentlige programkerne, nej, mere end 90 % af arbejdet ligger i at lave en fejlsikret brugerflade.

Og nu må jeg beklage, at jeg har skrevet om noget så kedeligt, men ved at gøre det har jeg ligesom forpligtet mig til, at det også bliver til noget. Cellerne (altså de små grå) lader sig så nemt distrahere.

Hvis du selv pusler med Visual Basic og Excel, kan du måske få noget ud af at besøge mine sider herom.