Wat is het crawl budget?

Het crawl budget is het aantal pagina’s dat Googlebot in een bepaalde periode op een website bezoekt. Het hangt af van hoeveel Google kan crawlen zonder je server te overbelasten en van hoeveel Google wil crawlen. Volgens Google is het vooral voor zeer grote websites een aandachtspunt.

Waarom is het crawl budget belangrijk?

Nieuwe pagina’s sneller gevonden: Googlebot besteedt zijn tijd aan pagina’s die ertoe doen.
Minder verspilling: dubbele pagina’s, filterlinks en foutpagina’s kosten crawlcapaciteit.
Gezondere site: een snelle server en nette structuur laten Google meer pagina’s bezoeken.

Voorbeelden van het crawl budget

Een webshop met filters maakt duizenden URL-varianten van dezelfde categorie.
Een agenda-pagina met een oneindige reeks maanden vol lege pagina’s.
Lange ketens van redirects waarbij Googlebot meerdere stappen moet volgen.

Hoe pas je het crawl budget toe?

Voor kleine en middelgrote sites is bijsturen zelden nodig. Heb je een grote site, sluit dan nutteloze URL’s af via robots.txt, herstel foutpagina’s, houd je sitemap actueel en verbeter de serversnelheid. Dit hoort bij technische SEO.

Crawl budget