Alle robots op een rijtje
Een meta robots tag geeft informatie aan zoekmachines. Zo weet de zoekmachine of een pagina geïndexeerd mag worden.
De spider van een zoekmachine weet via een zogenaamde robots metatag of een pagina geïndexeerd mag worden en of de links op de betreffende pagina gevolgd mogen worden zodat deze de zoekmachineresultaten weergegeven worden.
Let goed op want als de meta robots tag verkeerd is ingesteld dan is het mogelijk dat de zoekmachine een spider buitensluit waardoor uw website onvindbaar is. Het is dus belangrijk dat meta robots op juiste wijze worden ingezet. Deze pagina geeft een overzicht van alle verschillende waarden die u kunt gebruiken in de meta robots tag, wat ze doen en welke zoekmachines deze ondersteunen. Lees verder of maak een afspraak met ons zodat we u kunnen helpen.
Meta robots VS Robot.txt
De robots tag (of robots metatag) is niet te verwarren met robots.txt. Een robot.txt is namelijk een tekstbestandje dat er voor zorgt dat bepaalde folders of pagina’s van uw website niet worden geïndexeerd door zoekmachines. Dit bestandje fungeert als het ware als wegwijzer voor zoekmachines. Een crawler van Google (of een andere willekeurige zoekmachine) checkt eerst of er een robot.txt is geplaatst voordat uw website wordt geïndexeerd. Indien dit bestand niet aanwezig is gaat Google er vanuit dat alle pagina’s geïndexeerd mogen worden.
Meta robots zijn een meer ontwikkeld alternatief voor robot.txt. Als er een meta robot op een pagina is geplaatst wordt deze wel geopend door de crawler. Het verschil tussen de twee zijn de twee belangrijke opties die kunnen worden toegevoegd bij een meta robot.
- Index/noindex optie – Hierbij wordt aangegeven of de pagina wel of niet geïndexeerd mag worden
- Follow/nofollow – Hiermee wordt aangegeven of bepaalde links van een dergelijke pagina wel of niet gevolgd mogen worden
Noindex + follow houdt in dat een pagina niet geïndexeerd mag worden, maar de links op deze pagina mogen wel worden geïndexeerd. Als de spider van de zoekmachine de hele website doorloopt (metatags indexing) dan dient de volgende metatag in de broncode van de website te staan.
De verschillende meta tag robots
De metatags moeten op alle pagina’s geplaatst worden en dus niet alleen op de eerste index pagina. Het plaatsen van de tags op iedere pagina is veel werk, maar absoluut waardevol. De volgende waarden (‘parameters’) kunnen afzonderlijk worden geplaatst. Scheidt de waarden door middel van een komma. De waarden mogen in kleine letters of in KAPITALEN geschreven worden.
- index
Sta zoekmachines toe om de pagina aan hun index toe te voegen, zodat deze kan worden ontdekt door mensen die zoeken.
Opmerking: Dit wordt standaard op alle pagina’s aangenomen – u hoeft deze parameter over het algemeen niet toe te voegen.
- noIndex
Sta zoekmachines niet toe deze pagina aan hun index toe te voegen en laat hen daarom niet toe deze in hun resultaten te tonen. - follow
Vertelt de zoekmachines dat het links op de pagina mag volgen om zo andere pagina’s te ontdekken.
Opmerking: Dit wordt standaard op alle pagina’s aangenomen – u hoeft deze parameter over het algemeen niet toe te voegen.
- nofollow
Vertelt de robots van zoekmachines om geen links op de pagina te volgen.
Opmerking: het is onduidelijk of dit voorkomt dat zoekmachines ook daadwerkelijk links volgen of dat ze gewoon geen waarde toekennen aan die links in de zoekresultaten en daarnaast is het ook onduidelijk (en inconsistent binnen de zoekmachines) of dit van toepassing is op alle links, of alleen interne links.
- none
Een snelkoppeling voor noindex, nofollow - all
Een snelkoppeling voor index, follow
Opmerking: dit wordt standaard op alle pagina’s aangenomen en doet niets als dit is opgegeven.
- noimageindex
Sta zoekmachines niet toe om afbeeldingen op de pagina te indexeren.
Opmerking: als afbeeldingen direct van andere plek komen dan kunnen zoekmachines ze nog steeds indexeren, het gebruik van een X-Robots-Tag HTTP-header is over het algemeen een beter idee.
- noarchive
Voorkomt dat de zoekmachines een kopie in de cache van deze pagina in hun zoekresultatenlijst weergeven. - nosnippet
Voorkomt dat de zoekmachines een tekst- of video-fragment van deze pagina in de zoekresultaten weergeeft en voorkomt ook dat ze een in de cache van zoekmachines opgeslagen worden.
Opmerking: Fragmenten kunnen nog steeds een miniatuur afbeelding weergeven, tenzij noimageindex ook wordt gebruikt.
- notranslate
Voorkomt dat zoekmachines vertalingen van de pagina in hun zoekresultaten weergeven. - unavailable_after
Vertelt zoekmachines op welk tijdstip (datum/tijd) ze niet in de zoekresultaten mogen worden getoond. Dit is als het ware een ‘getimede’ versie van noindex.
Opmerking: Dit moet een RFC850 indeling hebben (bijv. Maandag 15-aug-05 15:52:01 UTC).
- noyaca
Voorkomt dat het fragment van de zoekresultaten de paginabeschrijving van de Yandex-directory gebruikt.
Opmerking: alleen ondersteund door Yandex.
Soms wilt u misschien specifieke instructies geven aan een specifieke zoekmachine of u kunt geheel verschillende instructies aan verschillende zoekmachines geven. In deze gevallen kunt u de waarde van het kenmerk content wijzigen in een specifieke zoekmachine (bijvoorbeeld GOOGLEBOT of MSNBOT).
Aangezien zoekmachines eenvoudig instructies negeren die ze niet ondersteunen of niet begrijpen, is het zeer zeldzaam om meerdere meta-robots-tags te gebruiken om instructies voor specifieke crawlers in te stellen. Onderstaande tabel geeft aan welke zoekmachines welke waarden ondersteunen.
| WAARDE | YAHOO | BING | BAIDU | |
|---|---|---|---|---|
| Index | Ja* | Ja* | Ja* | Ja* |
| noindex | Ja | Ja | Ja | Ja |
| follow | Ja* | Ja* | Ja | Ja |
| nofollow | Ja | Ja | Ja | Ja |
| none | Ja | ? | ? | Ja |
| all | Ja | ? | ? | Ja |
| noimageindex | Ja | Nee | Nee | Nee |
| noarchive | Ja | Ja | Ja | Ja |
| nocache | Nee | Nee | Ja | Nee |
| nosnippet | Ja | Nee | Ja | Nee |
| notranslate | Ja | Nee | Nee | Nee |
| unavailable_after | Ja | Nee | Nee | Nee |
| noodp | Nee | Ja** | Ja** | Nee |
| noydir | Nee | Ja** | Nee | Nee |
* De meeste zoekmachines hebben hiervoor geen specifieke documentatie, maar we gaan ervan uit dat ondersteuning voor het uitsluiten van parameters (bijv. Nofollow) ondersteuning voor het positieve equivalent impliceert (bijv. Volgen).
** Hoewel de kenmerken noodp en noydir nog steeds ‘ondersteund’ zijn, bestaan deze directory’s niet meer en is het waarschijnlijk dat deze waarden niets doen.
