Disallow kategoriside i robots.txt - Wordpress

[Tonny Kluften]

Jeg har kategorisider i Wordpress, eks. domene.no/kategori/bildeler

Hvordan kan jeg disallow denne kategorisiden i robots.txt uten samtidig å disallow enkeltsidene som ligger i kategorien, eks. domene.no/kategori/bildeler/blinklys-saab-95-v-f-2001

 

[Morph]

Jeg lurer på (dette må evt testes) om du kan gjøre slik:

disallow: /kategori/
allow: /kategori/*

 

[Tonny Kluften]

Takk Morph.
Kan noen bekrefte at dette fungerer?

 

[Pong]

Ifølge https://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive
skal allow plasseres før disallow (og egentlig finnes ikke allow i denne 'standarden').

Men, Google har et dokument om hvordan googlebot interpreterer robots.txt:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt#example-path-matches