Na onze introductie tot robots.txt in WordPress gaan we nog wat dieper op dit onderwerp in. In deze blogpost leggen we uit hoe je aan de slag kunt met robots.txt bewerken in WordPress.
Hoe kan ik robots.txt bewerken in WordPress?
Robots.txt bewerken in WordPress kan op verschillende manieren. Zo kun je het bestand downloaden via FTP en het handmatig bewerken, waarna je het kunt weer uploaden. De Yoast SEO plugin biedt echter een gebruiksvriendelijke interface om robots.txt te bewerken. Als je de Yoast SEO plugin al geïnstalleerd en geactiveerd hebt, hoef je alleen maar in te loggen op je WordPress website en in het linker menu op je dashboard naar Yoast SEO > Tools > File Editor te gaan. Als er nog geen robots.txt bestand is, dan kun je deze aanmaken door op de Create robots.txt file knop te klikken. Vervolgens kun je direct aan de slag met robots.txt bewerken in WordPress.
Wat staat er in robots.txt?
Yoast SEO creëert automatisch een simpel robots.txt bestand voor je website. Dat ziet er als volgt uit:
Robots.txt syntax
De syntax in robots.txt bevat drie belangrijke elementen: user-agent, disallow en allow.
User-agent: verwijst naar de bot voor wie een regel bedoeld is. Wanneer hier een asterisk (*) achter staat, dan betekent dit dat de regel op elke bot van toepassing is. Je kunt echter ook regels voor specifieke bots stellen. Als je bijvoorbeeld een regel hebt die alleen voor de user-agent van Google geldt, dan vervang je * door Googlebot. De algemene user-agent voor Bing is bingbot en die van Yahoo! is slurp.
Disallow: vertelt zoekmachine bots om de hier gespecificeerde bestanden te negeren. Een lege Disallow regel betekent dat je niets blokkeert, en zoekmachine bots dus toegang hebben tot alle onderdelen van je website.
Allow: geeft zoekmachine bots toegang tot bepaalde bestanden. Je hoeft dit niet te specificeren, tenzij je toegang wilt geven tot een bestand of subdirectory binnen een disallowed hoofddirectory.
Alle grote zoekmachines ondersteunen de basisfunctionaliteit van robots.txt, maar kunnen ook aanvullende regels interpreteren.
Voorbeelden
Om je op weg te helpen met robots.txt bewerken in WordPress, hebben we hieronder een aantal handige voorbeelden op een rijtje gezet. Hou er rekening mee dat de syntax in robots.txt hoofdlettergevoelig is!
Alle zoekmachines vertellen dat ze je website niet mogen crawlen:
User-agent: *
Disallow: /
Alle zoekmachines vertellen dat ze je website wel mogen crawlen:
User-agent: *
Disallow:
Bots de toegang tot het wp-admin directory ontzeggen, met uitzondering van het admin.ajax.php bestand:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Googlebot blokkeren om de Afbeeldingen map en de volledige inhoud daarvan te crawlen:
User-agent: googlebot
Disallow: /Afbeeldingen
