Ikke crawles av robots
- Trådstarter Jens1986
- Startdato
xdex
Medlem
Du kan gjøre noe så enkelt som å legge inn,
i robots.txt (opprett den hvis den ikke eksisterer) og legg den f.eks på public_html. Skal du blokkere ut alt og alle, kan du alltids legge inn en restriksjon på IP adresse eller lignende.
Skal du blokkere alt, kan du bruke htaccess og legge inn noe som dette,
Kode:
User-agent: *
Disallow: /i robots.txt (opprett den hvis den ikke eksisterer) og legg den f.eks på public_html. Skal du blokkere ut alt og alle, kan du alltids legge inn en restriksjon på IP adresse eller lignende.
Skal du blokkere alt, kan du bruke htaccess og legge inn noe som dette,
Kode:
order deny,allow
deny from all
allow from 1.0.0.10
T SL
Active Member
Gjør som ovenfor dersom du ønsker å blokkere robotter (personlig er jeg mest fan a .htaccess-løsningen). Dersom du ønsker at sider ikke skal indekseres (men fortsatt velge om lenker skal følges eller ikke), kan du legge til no-index meta tags, med enten follow eller no-follow i <head> som dette:
Dette kan brukes på sider du ikke ønsker å indeksere pga. duplisert innhold, men der du ønsker at lenker skal følges (som tag-sider eller kategori-sider).
Kode:
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>Dette kan brukes på sider du ikke ønsker å indeksere pga. duplisert innhold, men der du ønsker at lenker skal følges (som tag-sider eller kategori-sider).