Wordpress side blokker for Google

[tom3008]

Hei
Jeg har nå laget min første wordpress side.
Hele historien starter med at jeg valgte " Jeg ønsker å stenge ute søkemotorer, men slippe inn vanlige besøkende" inne på wordpress. Nå har jeg valgt " Jeg ønsker å stenge ute søkemotorer, men slippe inn vanlige besøkende" og i tilleg har jeg lagt en robots.txt som sier:

User-agent: *
Allow: /



Men nå når jeg skulle registrere meg på Google vertøy for nettredaktører, sier Google at siden fortsatt er sperret... Men det er fordi de lastet ned min robots.txt for 17 siden som sa:

User-agent: *
Disallow: /


Hvordan får jeg dem til å gå igjennom siden min igjen?



MVH Tom

 

[Ole Avranden]

Legg inn en lenke fra et annet nettsted, helst en "autoritetsside". Det pleier å speede opp prosessen med et nytt Google-besøk...

 

[tom3008]

Okei, tusen takk!

 

[typisk]

Du har jo et valg i Webmaster Tools om å sjekke robots.txt på nytt.

 

[adeneo]

Som typisk skriver over her så kan du i Webmaster Tools sette opp både det ene og det andre, blant annet kan du teste robots.txt og sette intervallet for gjennomsøking og annet, du kan også sende inn sider på nytt ved endringer, slik som index.html osv. så det bør ikke være noe problem. Uansett vil Google finne ut av det av seg selv etterhvert men det kan ta litt tid.

Normalt bør det vistnok skrives slik for full tilgang:

User-agent: *
Disallow:

Altså ikke sperre noen sider for noen roboter, i stedet for slik:

User-agent: *
Allow: /

Selv om man skulle tro det ble akkurat det samme, og jeg vet ikke helt hvorfor det første eksempelet er å foretrekke, men så vidt jeg har forstått er det visst det.

En annen ting er at asterix er tillatt i user-agent, men ikke i angivelse av filer, bortsett fra for Googlebot som faktisk som tillater dette.
Så for å for eksempel hvis man har søkefiler i xml eller json så bør disse normalt ikke indekseres, og man kan gjøre slik :

User-agent: Googlebot
Disallow: /*.xml$

Som sperrer alle xml filer på siden for Googlebot.
Man bør da være obs på at sidekart i xml også sperres, og man må lage en egen regel nedenfor denne igjen med allow og adressen til sidekartet, og sidekart bør alltid henvises til i robots.txt på denne måten:

Sitemap: http://www.mittdomene.no/minmappe/sitemap.xml

Slik at roboter finner alle sidene på nettstedet ditt uten å måtte lete seg gjennom linker til disse. Man kan også sende inn sidekartet til G i Webmaster T, noe som normalt gjør at alle sidene tas med i indekseringen noe raskere.
Ble mye greier, men det er vel det mest elementære med robots.txt, og skriveleif og feil syntakser osv. kan føre til at sidene dine ikke indekseres riktig, så det gjelder å holde tunga rett i munnen hvis man skal begynne å endre på dette.