Zoekmachine tools en diensten: meta robots
Hoe vertel je de spider van een zoekmachine dat je wilt dat hij alleen de eerste pagina, of de hele website indexeert? Dat doe je met de zogenaamde meta name ROBOTS tag. De robots metatags is iets anders dan de robots.txt Deze moeten samen gebruikt worden. Beide worden gebruikt door onder andere Google en Yahoo. Staat deze metatag verkeerd dan kunt u zoekmachine spiders helemaal buitensluiten met alle gevolgen van dien.
Voorbeeld metatag robots
Als u wilt dat de spider van de zoekmachine uw hele website doorloopt ( meta tags indexing ) dan kunt u bijvoorbeeld de volgende metatag in de broncode van uw website plaatsen:
<meta name="robots" content="index, follow">
In het onderstaande voorbeeld kijkt de spider niet alleen naar de eerste pagina maar ook naar de achterliggende pagina's van de website:
<meta name="robots" content="all">
ook geschreven als: ( " /> xml of "> html )
<meta name="robots" content="INDEX, FOLLOW" />
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
<meta name="robots" CONTENT="index, follow" />
Door te wisselen van meta tag index naar meta tag noindex en van meta tag follow naar meta tag nofollow kunt u het gedrag van een spider proberen te beïnvloeden.
- meta tag index = deze pagina indexeren
- meta tag noindex = deze pagina niet indexeren
- meta tag follow = de links die op deze pagina staan volgen
- meta tag nofollow = de links die op deze pagina staan niet volgen.
Als u er zeker van wilt zijn dat de inhoud van een pagina niet aan de index van Google wordt toegevoegd, zelfs wanneer andere pagina's ernaar verwijzen, gebruikt u de metatag 'noindex'. Zolang Googlebot de pagina ophaalt, zal de 'noindex'-metatag worden herkend en worden voorkomen dat de pagina wordt weergegeven in de webindex. Deze methode is handig als u geen toegang heeft tot de hoofdmap van uw server, omdat u de toegang tot uw site per pagina kunt beheren.
Om alle robots te verhinderen een pagina van uw site te indexeren, moet u de volgende metatag in het <head>-gedeelte van uw pagina plaatsen:
<meta name="robots" content="noindex">
Wanneer Google een noindex-metatag op een pagina aantreft, wordt de pagina niet in de zoekresultaten weergegeven, ook al verwijzen andere pagina's ernaar. Andere zoekmachines interpreteren deze instructie mogelijk anders. Als gevolg hiervan wordt een verwijzing naar de pagina mogelijk nog steeds weergegeven in de zoekresultaten van deze zoekmachines.
Omdat de spider van Google uw pagina moet crawlen om de noindex-tag te kunnen ontdekken, bestaat een kleine kans dat Googlebot de noindex-metatag niet waarneemt en respecteert. Als uw pagina nog steeds in de zoekresultaten wordt weergegeven, komt dit waarschijnlijk doordat Google de pagina niet hebben gecrawld sinds u de tag heeft toegevoegd. (Als u het robots.txt-bestand heeft gebruikt om deze pagina te blokkeren, kan Google de tag overigens ook niet waarnemen.)
Als de inhoud zich momenteel in de index van Google bevindt, zal Google deze verwijderen wanneer uw site de eerstvolgende keer wordt gecrawld. Als u de inhoud sneller wilt laten verwijderen, lees dan de informatie over het verwijderen van URL's bij Google.
Belangrijk optimalisatie element: de Robots Metatag - Waar te plaatsen ?
Uiteraard mag u de metatags op alle pagina's plaatsen, dus niet alleen de eerste index. Zorg er wel voor dat iedere pagina zijn eigen relevante titel (title tags) krijgt, met steekwoorden en begrippen die betrekking hebben op de inhoud. Het lijkt misschien veel werk om voor iedere pagina een aparte titel te verzinnen maar u zult zien dat het werkt.
