Wanneer we het hebben over de vindbaarheid van je website, dan denk je waarschijnlijk het eerst aan zoekmachine optimalisatie (SEO). Hoewel dit zeker cruciaal is voor je ranking, is er nog een ander belangrijk aspect dat je aandacht verdiend: crawl budget. In dit artikel leggen we uit wat crawl budget precies is, waarom het belangrijk is voor je vindbaarheid en hoe zoekmachines het crawl budget voor jouw site bepalen. Tot slot geven we een aantal tips om het crawl budget in WordPress te verhogen.
Wat is crawl budget?
Waarom is crawl budget belangrijk voor je vindbaarheid?
Hoe bepalen zoekmachines het crawl budget voor mijn WordPress site?
Hoe verhoog ik het crawl budget in WordPress?
Wat is crawl budget?
Om goed uit te kunnen leggen wat crawl budget precies is, moeten we eerst crawlen en crawl rate definiëren.
Crawlen is de term voor het proces dat plaatsvindt wanneer een zoekmachine een groep virtuele spiders (ook wel crawlers of bots genoemd) inzet om nieuwe en geüpdatete content op het internet te zoeken en te indexeren. Dat proces is niet willekeurig; het algoritme van de zoekmachines vertelt de spiders hoe zij relevante content kunnen vinden. Aan de hand daarvan gaan de spiders aan de slag om data van de webpagina’s te verzamelen en deze toe te voegen aan een database: de index. Wanneer iemand een zoekopdracht uitvoert in de zoekmachine, wordt de relevante informatie voor die zoekopdracht uit de index gehaald en vervolgens in de zoekresultaten weergegeven.
Crawl rate verwijst naar hoe vaak spiders terugkomen om je website te crawlen. De frequentie is grotendeels afhankelijk van het soort website en het soort content. Nieuwswebsites die dagelijks geüpdatet worden, hebben doorgaans een veel hogere crawl rate dan websites die overwegend statische content bevatten.
Nu kun je misschien al wel raden wat crawl budget is: de hoeveelheid tijd en middelen die spiders toewijzen aan het crawlen en indexeren van de pagina’s van een website.
Waarom is crawl budget belangrijk voor je vindbaarheid?
Crawl budget is op zichzelf geen ranking factor, maar het kan wel een enorm effect hebben op hoe je webpagina’s ranken:
- Wanneer spiders te veel tijd en middelen besteden aan het crawlen van je website, dan kan dit resulteren in langere laadtijden en foutmeldingen – wat de gebruikerservaring natuurlijk niet ten goede komt.
- Wanneer spiders het crawl budget besteden aan het crawlen van de verkeerde webpagina’s, kan het zijn dat je andere webpagina’s pas maanden later of helemaal niet gecrawled worden – wat betekent dat ze niet in relevante zoekresultaten worden weergegeven. Dan loop je dus webverkeer mis.
Het komt neer op het volgende: SEO beïnvloed waar je webpagina’s in de zoekresultaten worden weergegeven, maar crawl budget bepaalt of je webpagina’s überhaupt worden getoond. Je kunt een fortuin uitgeven aan zoekmachine optimalisatie, maar als je WordPress website problemen heeft met crawl budget, dan krijg je nooit de gewenste resultaten.
Hoe bepalen zoekmachines het crawl budget voor mijn WordPress site?
Voor elke website wordt een individueel crawl budget bepaalt. Er zijn twee factoren die hierin een belangrijke rol spelen:
Crawl demand
Crawl demand geeft aan hoe aantrekkelijk jouw website is voor een zoekmachine om te crawlen. Dit wordt bepaald door:
- De populariteit van je website. Hoe meer webverkeer en hoe meer autoritaire backlinks je hebt, hoe meer interesse zoekmachines hebben om te crawlen.
- Hoe frequent er updates plaatsvinden. Nieuwe en geüpdatete content maar ook nieuwe pagina’s en wijzigingen in de XML sitemap kunnen redenen zijn voor zoekmachines om weer eens wat spiders langs te sturen.
Crawl rate limiet
Elke keer dat spiders langskomen om je site te crawlen, zorgen ze tijdelijk voor extra serverbelasting. Als hun aanwezigheid een negatieve impact heeft op de performance van je WordPress site, wordt de crawl rate limiet verlaagd. Maar als je site gewoon snel blijft en je content goed toegankelijk blijft, dan is dit voor zoekmachines een signaal dat het oké is om eventueel de crawl limiet te verhogen zodat ze meer webpagina’s kunnen crawlen.
De mogelijkheden om het crawl budget voor jouw website in te zien verschillen per zoekmachine. In het geval van Google kun je, als je gebruik maakt van Google Search Console, je crawl budget bekijken onder Crawl > Crawl Stats.
Hoe kan ik het crawl budget in WordPress verhogen?
Een hoger crawl budget betekent dat je site vaker en grondiger gecrawled en geïndexeerd kan worden, en dat vergroot de kans dat je webpagina’s in de zoekresultaten worden weergegeven. Er zijn meerdere dingen die je kunt doen om het crawl budget in WordPress te verhogen. Hieronder hebben we er een aantal voor je opgesomd waar je meteen mee aan de slag kunt:
#1. Identificeer en verhelp http-foutmeldingen
Http foutmeldingen geven aan dat er ergens iets niet goed gaat bij het laden van een webpagina. Dit is niet alleen problematisch voor menselijke bezoekers van je site, maar ook voor spiders! Met behulp van onze blogpost over http status codes in WordPress kun je http-foutmeldingen identificeren en oplossen.
#2. Blokkeer onbelangrijke webpagina’s voor spiders
Heb je webpagina’s die niet in zoekresultaten weergegeven hoeven te worden, dan kun je deze blokkeren voor spiders door robots.txt in WordPress te bewerken. Zo voorkom je dat spiders het crawl budget aan de verkeerde webpagina’s besteden.
#3. Maak gebruik van canonicals
Stel, je hebt twee blogposts over hetzelfde onderwerp: één verouderde en één actuele. Je wil niet dat zoekmachines beide blogposts crawlen en indexeren, want dan bestaat de kans dat ze met elkaar gaan concurreren. Om te zorgen dat alleen de actuele blogpost gecrawled wordt, kun je gebruik maken van canonicals. Meer informaties hierover lees je in onze blogpost Dit moet je weten over canonical URL’s in WordPress.
#4. Zorg dat je goede backlinks krijgt
Hoe meer er naar je website verwezen wordt, hoe interessanter deze wordt voor zoekmachines om te crawlen. Maar één backlink van een autoritaire website (die zelf goed bezocht wordt en hoog rankt) is veel meer waard dan tien backlinks van slecht rankende sites die nauwelijks webverkeer genereren. Goede backlinks krijgen is makkelijker gezegd dan gedaan. Gelukkig hebben wij 25 tips om goede backlinks naar je WordPress site te krijgen voor je op een rijtje gezet!
