robots.txt og Adsense-spider

[Keanu]

Som de fleste sikkert vet, så bruker google adsense-spiders for å finne relevante annonser for sider. Google har også andre spiders, som indekserer filene. For å begrense hvilke sider google indekserer, bruker vi å forby enkelte sider for disse spiderne i robots.txt.

Det jeg derimot lurer på, er om også adsense-spiderne blir stengt ute. Så langt har jeg trodd dette ikke var noe problem, og at kun indekserings-spiderne var blokkert, men når jeg Webområdediagnostikk i dag, fikk jeg beskjed om:

Blokkert webadresse Blokkeringsårsak [?] Siste forsøk på gjennomgang
http:/ / www. snooze. no/ tags/ view/ Robots.txt Fil 25. apr.. 2008

Altså er adsense-spideren blitt blokkert. Jeg ønsker ikke å endre muligheten for spiders til å tillate de å indeksere tags-sidene, siden det vil føre til mye duplikert innhold på siden.

Finnes det en måte å skrive robots-filen på slik at det blir mulig for adsense-spideren å gå gjennom sidene, men ikke andre? Finner ikke navnet på adsense-spideren når jeg googlet nå, men mulig noen kjenner til det? (derimot fant jeg en del som sier at indeks-spideren også gjør adsense-arbeid, og i såfall vil det jo forklare problemet)

Eller blir jeg nødt til å legge inn "follow, noindex"-instruksjoner på hver side?

Satser på at noen har vært borti samme problemet. (og jeg beklager at jeg brukte så mye tekst på å forklare noe så lite)

 

[Deezire]

Du kan prøve med Extended Robots Standard, der kan du kjøre på med litt mer avanserte ting, men jeg vet ikke om adsense-spideren støtter det eller hva den heter, men det finner du jo fort ut av.

An Extended Standard for Robot Exclusion

 

[E-bud]

Googlebot er navnet på den "vanlige" crawleren til Google. Du kan benytte robots.txt til å stenge denne ute fra de områdene du ikke vil at den skal indeksere;

User-agent: Googlebot
Allow: /
Disallow: /dennemappenskalikkeindekseres
Disallow: /dennefilenskalikkeindekseres.html

 

[Tonny Kluften]

Hva heter Google-adsense-spideren?

 

[Deezire]

Mediapartners-Google

 

[Tonny Kluften]

Da er det vel bare å tillate Mediapartners-Google i robots.txt og stenge resten ute.

 

[webmoney]

User-Agent: Adsbot-Google
Allow: /

eventuelt (og samtidig det enkleste):

User-Agent: *
Allow: /

 

[Deezire]

Men jeg har lest litt rundt på nettet og det ryktes at googlebot også gjør en del arbeid for Adsense, så det er nok litt problematisk. Vil tro nofollow er den enkleste metoden i lengen som også vil gi best resultat.

 

[Tonny Kluften]

Ryktes?
Det er vel bare å prøve da og se om annonsene blir relevante selv om google-bot stenges ute.