Bruker dere robots.txt?

[Knut]

Bruker dere robots.txt i wp?
Er dette en fordel med tanke på SEO?
Om det bør brukes, er det lov å be om eksempler?

 

[zapotek]

Bruker robots.txt for å nekte/tillate søkemotorer å indexere spesifikke deler av et nettsted (selv om de gjerne finner det lell, spesielt om du har lenker som peker mot disse delene av siden).

Typisk robots.txt på en WP side for meg:

User-agent: *

Disallow: /wp-content/
Allow: /wp-content/images/

Har ikke så mye å si for SEO, det er ikke derfor det brukes.

 

[Pong]

Jeg bruker robots.txt men tror egentlig at det ikke er så mye vits.
Ond-sinnede bryr seg ikke, og til google, bing og yahoo bruker jeg sitemaps.

 

[olafmoriarty]

Gikk lei av å se feilloggen min oversvømt av edderkopper som ikke klarte å finne robots.txt, så jeg opprettet en uten innhold. Eller, uten annet innhold enn en gammel Harald Eia-referanse: http://nettserier.no/robots.txt