Robots.txt

Wat is robots.txt?

Robots.txt is een tekstbestand in de hoofdmap van een website (voorbeeld.nl/robots.txt) waarin je aangeeft welke pagina’s en mappen crawlers wel of niet mogen bezoeken. Het bestand volgt het Robots Exclusion Protocol. Goedwillende crawlers zoals Googlebot houden zich eraan, maar robots.txt is geen beveiliging.

Waarom is robots.txt belangrijk?

• Sturing van crawlers: je houdt crawlers weg bij onbelangrijke pagina’s, zoals een winkelwagen of interne zoekresultaten.
• Minder verspilling: zo gaat het crawl budget naar pagina’s die ertoe doen.
• Wegwijzer naar je sitemap: je verwijst crawlers in het bestand naar je sitemap.

Voorbeelden van robots.txt

• User-agent: * geldt voor alle crawlers
• Disallow: /winkelwagen/ blokkeert de map /winkelwagen/
• Sitemap: https://www.voorbeeld.nl/sitemap.xml wijst naar je sitemap

Hoe pas je robots.txt toe?

Zet één bestand op /robots.txt en blokkeer alleen wat crawlers echt niet hoeven te zien. Blokkeer nooit de CSS- of JavaScript-bestanden die nodig zijn om je pagina’s te renderen. Gebruik robots.txt ook niet om pagina’s uit Google te houden: een geblokkeerde pagina kan alsnog in de resultaten verschijnen. Daarvoor gebruik je een noindex-tag. Zie technische SEO.