User agent

Wat is een user agent?

Een user agent is een tekstregel in een HTTP-verzoek waarmee een browser, zoekmachinebot of ander programma zich bij een webserver bekendmaakt. De server kan zo zien wie er komt en bijvoorbeeld de weergave aanpassen of toegang beperken. Bij zoekmachines is de user agent de naam van de crawler.

Waarom is een user agent belangrijk?

• Regels per bot: in robots.txt bepaal je per user agent wat gecrawld mag worden.
• Inzicht in bezoek: in je logbestanden zie je welke crawlers je site bezoeken.
• Let op nepbots: een user agent is makkelijk te vervalsen, dus controleer echte Googlebot-bezoeken via Google.

Voorbeelden van een user agent

• User-agent: Googlebot
• User-agent: Bingbot
• User-agent: GPTBot (de crawler van OpenAI)

Hoe pas je een user agent toe?

Gebruik user agents in je robots.txt om crawlers gericht toe te laten of te blokkeren, en bekijk logbestanden om te zien welke bots je site het vaakst bezoeken (technische SEO).