Der HEAD Bereich einer HTML Seite Suchmaschinenspider mittels META-Tag "robots" steuern
Die sogenannten Meta-Tags findet man meistens direkt unter dem Title-Tag im Head-Bereich der HTML-Datei. Es gibt einige nicht standardisierter Meta-Tags und einige speziell festgelegte Meta-Tags, deren Anwendung durchaus sinnvoll ist - dazu gehört der in diesem Artikel beschriebene Meta-Tag "robots" für die Suchmaschinenspider.
Auch bei vorhandener robots.txt hat man immer noch die Möglichkeit entsprechende META-Tags in den einzelnen HTML-Dateien anzubringen.
Bei den Anweisungen für die Suchmaschinenspider (Robots, Crawler) handelt es sich nur um Empfehlungen. Man kann die Suchmaschinenbots nicht beeinflussen sich daran zu halten.
Den Meta-Tag Robots setzt man, wenn eine Suchmaschine eine Seite nicht indexieren soll. In diesem Fall sieht der Meta-Tag folgendermaßen aus:
<meta name="robots" content="noindex, nofollow">
Wenn man möchte, dass der Crawler die Seite indexiert und die gefundenen Links verfolgt, dann verwendet man den folgenden Meta-Tag:
<meta name="robots" content="index, follow">
Falls Sie nicht wollen, dass Ihre Seiten im Cache gespeichert, aber weitherin indexiert werden, sollte folgender Meta-Tag verwendet werden.
<meta name="robots" content="noarchive">
Dieser Meta-Tag findet hauptsächlich für Google Verwendung. Die Internetsurfer können dann nicht (mehr) über den Link auf der Suchergebnisseite von Google "Im Cache" auf die zwischengespeicherte Version der Seite zugreifen.
Our recommendation
Seit Mai 2006 hat MSN nun auch einen Meta-Tag vorgestellt, mit dem man die Nutzung der ODP-Daten in den SERPs verhindert kann. Das ist vor allem dann sinnvoll, wenn man mit der Beschreibung im ODP nicht zufrieden ist und den Eintrag dort selbst nicht ändern (lassen) kann. Nachdem MSN diesen Meta-Tag vorgestellt hatte, kam Google noch am selben Tag ebenfalls mit einem Meta-Tag hierfür heraus. (Quelle: http://www.prometeo.de)
Um die Nutzung der ODP-Beschreibung für MSN und Google auszuschließen verwendet man folgenden Tag:
<meta name=”robots” content=”noodp”>
Um die Nutzung nur für MSN auszuschließen kommt dieser zum Einsatz:
<meta name=”msnbot” content=”noodp”>
Um die Nutzung nur für Google auszuschließen nehmen Sie diesen Tag:
<meta name=”googlebot” content=”noodp”>
Der Robots-Meta-Tag wird in der Regel von allen Suchmaschinen beachtet. Wenn man jedoch eine effiziente Kontrolle über die Seiten, die indexiert werden sollen, haben möchte, kommt man um die Einbindung einer robots.txt nicht herum.
Disclaimer
While every precaution has been taken in the preperation of this documentation, the authors assume no responsibility for errors or omissions, or for damages resulting from the use of the information herein. If you are a beginner or not sure how to handle something, contact a service professional to give you a hand.
The article may list links to other sites on the Internet, on whose design and contents the site operator does not have any influence. We distance ourselves therefore explicitly from the contents of the linked sites. If we are notified that a linked site violates the applicable law we will remove the link(s) in question immediately. We request to be informed of such links by email should the situation arise.
For our services, contact us. © Copyright, squatlabs - all rights reserved.