KBleivik
Banned
Jeg har lenge ansett WebMasterWorld som det beste web forumet på Apache serveren. I dag kom jeg over denne
What's the Best Way to Keep All Spiders/Bots Out? Only want a couple of pages crawled
rykende ferske tråden.
Der er mange måter å blokkere boter på som for eksempel ved deny allow i .htaccess tekst filen som beskrevet i nevnte tråd.
Andre består i å lage såkalte spider feller - Google:
spider traps
for ytterligere informasjon.
Roboter som ikke respekterer robots.txt kan for eksempel fanges i en egen ikke tillatt (disallowed) mappe, identifiseres og blokkeres.
Se også:
Installation Spider Trap
PHP Spider Trap - An alternative to the Perl version
BOT/Spider Trap Ideas
How to build a Bot Trap and keep bad bots away from a web site
What's the Best Way to Keep All Spiders/Bots Out? Only want a couple of pages crawled
rykende ferske tråden.
Der er mange måter å blokkere boter på som for eksempel ved deny allow i .htaccess tekst filen som beskrevet i nevnte tråd.
Andre består i å lage såkalte spider feller - Google:
spider traps
for ytterligere informasjon.
Roboter som ikke respekterer robots.txt kan for eksempel fanges i en egen ikke tillatt (disallowed) mappe, identifiseres og blokkeres.
Se også:
Installation Spider Trap
PHP Spider Trap - An alternative to the Perl version
BOT/Spider Trap Ideas
How to build a Bot Trap and keep bad bots away from a web site
