Wat is de X-Robots-Tag?

De X-Robots-Tag is een HTTP-header waarmee je zoekmachines instructies geeft over het indexeren en tonen van een bestand, zoals noindex of nofollow. Hij werkt hetzelfde als de meta robots-tag, maar staat in de serverrespons. Daardoor kun je hem ook gebruiken voor pdf’s, afbeeldingen en andere bestanden zonder HTML.

Waarom is de X-Robots-Tag belangrijk?

Werkt voor elk bestandstype: een pdf heeft geen head waarin een meta-tag past.
Veel bestanden tegelijk: je stelt het in via de serverconfiguratie voor een heel patroon.
Dezelfde instructies: je gebruikt waarden als noindex, nofollow en noarchive.

Voorbeelden van de X-Robots-Tag

X-Robots-Tag: noindex
X-Robots-Tag: googlebot: nofollow
add_header X-Robots-Tag noindex; in een nginx-configuratie

Hoe pas je de X-Robots-Tag toe?

Stel de header in via je serverconfiguratie of hostingpaneel voor de bestanden die je uit de index wilt houden. Blokkeer die bestanden niet in robots.txt, anders ziet Google de header nooit (technische SEO).

X-Robots-Tag