sperren
Webseiten schützenListe der unbeliebten Bots für die robots.txtFolgende Einträge sollten in die robots.txt aufgenommen werden, um unbeliebte Bots das Spidern zu verbieten: User-agent: grub-client Disallow: / User-agent: grub Disallow: / User-agent: looksmart Disallow: / User-agent: WebZip Disallow: / User-agent: larbin Disallow: / User-agent: b2w/0.1 Disallow: / User-agent: psbot Disallow: / User-agent:...By Alexander Meindl, last update 30. July 2010 - 11:46 |
