Yahoo begynner å komme seg?

[Kenneth Dreyer]

Noen som har merket hard trafikk fra Yahoo sine crawlere i det siste? Jeg har merket et stort trykk på absolutt alle mine nettsider i det siste. En av nettsidene mine hadde faktisk over 60 forskjellige crawlere fra Yahoo inne på en gang.. Nesten så jeg vurderer å sperre dem ute!

Driver kanskje Yahoo og strammer seg sammen?

 

[Julian Alois Barthel]

hvorfor vurderer du å sperre dem ute?

 

[Kenneth Dreyer]

Fordi på de mindre sidene skapte dem endel fake statestikk, kjøre enkelte tyngre prosesser osv. Crawlerene er jo laget for å snike rundt overalt Og når det er 60 stykker som svimmer rundt på weben din kan det fort hende den kjenner det faktisk..

 

[Julian Alois Barthel]

Ja jeg har hat besøk at 3 yahoo bot'er denne mnd .. ifølge stat

 

[Kenneth Dreyer]

hehe.. det var da ikke store greiene!

 

[Julian Alois Barthel]

Men som du ser /har sett har ikke jeg den beste siden :S
hehe

Prøver å finne det mest SEO venlige CMS nå så vi får se åssen det går

 

[webmoney]

Noen som har merket hard trafikk fra Yahoo sine crawlere i det siste? Jeg har merket et stort trykk på absolutt alle mine nettsider i det siste. En av nettsidene mine hadde faktisk over 60 forskjellige crawlere fra Yahoo inne på en gang.. Nesten så jeg vurderer å sperre dem ute!

robots.txt:
-----------------
User-agent: Slurp
Disallow: /
-----------------