Gecrawld, momenteel niet geïndexeerd: wanneer grijp je in.

Google heeft de uitleg bij de melding "gecrawld, momenteel niet geïndexeerd" in Search Console herschreven. Er staat nu dat Google niet alle pagina's op het web indexeert, dat dit een veelvoorkomende melding is en dat het niet per se een probleem hoeft te zijn. In de oude tekst stond dat de pagina later nog geïndexeerd kon worden en dat je hem niet opnieuw hoefde aan te melden. Voor jouw site betekent het dat een paar pagina's in deze groep normaal is, maar dat een belangrijke dienst- of productpagina die hier blijft hangen een eigen onderzoek verdient.

Bij een SEO bureau komt deze melding geregeld op tafel, vaak met de vraag of er iets kapot is. Hieronder lees je wat Google precies veranderde, wanneer je moet reageren en hoe je dat in ongeveer een uur uitzoekt.

Wat er in de uitleg is veranderd

Search Engine Roundtable schreef op 3 november over de aangepaste tekst in het Help Center van Google, bij het rapport Pagina-indexering. De nieuwe versie zegt dat Google de pagina heeft gecrawld maar niet geïndexeerd, dat Google niet alle pagina's indexeert en dat dit een gewone melding is die niet altijd aandacht vraagt. Voor pagina's die voor jou belangrijk zijn, verwijst Google naar de URL-inspectietool, bijvoorbeeld om te zien of je de pagina per ongeluk hebt geblokkeerd voor crawlers. Vermoed je een fout die de hele site raakt, dan kun je een indexeringsprobleem melden via het formulier van Google.

Opvallend is wat er verdween. De oude tekst sprak over een pagina die misschien later nog geïndexeerd wordt. Volgens Barry Schwartz van Search Engine Roundtable is er in de nieuwe tekst geen verwijzing meer naar kwaliteitsproblemen. Dat is zijn constatering en geen uitspraak van Google, dus lees er niet meer in dan er staat. Het algemene advies in hetzelfde rapport is wel stellig. Verwacht niet dat elke URL op je site geïndexeerd wordt, want een URL die niet is geïndexeerd kan prima zijn. Wil je ook weten hoe vaak je in AI-antwoorden staat, lees dan het AI-rapport in Search Console.

Waarom dit voor een gewone MKB-site meestal meevalt

Een webshop of dienstensite verzamelt vanzelf pagina's die niemand in Google hoeft te vinden. Denk aan filter-URL's, sorteervolgordes, tagpagina's, oude actiepagina's en paginanummers. Dat Google die crawlt en laat liggen, is eigenlijk precies wat je wilt.

Een rekenvoorbeeld om het te voelen. Stel dat je webshop 2.000 URL's heeft en dat in Search Console 1.400 daarvan als "gecrawld, momenteel niet geïndexeerd" staan. Het klinkt als een ramp, maar als je ziet dat 1.300 daarvan filter- en sorteerpagina's zijn, blijven er honderd over om echt naar te kijken. Dat is te doen.

Wanneer het wél een probleem is

Twee situaties verdienen je aandacht, ook na deze aanpassing van Google.

Je belangrijkste pagina's staan in de lijst. Een dienstpagina waar je op wilt ranken, een productcategorie met omzet of een kennisartikel dat je actief deelt hoort geïndexeerd te zijn. Staat zo'n pagina er wekenlang tussen, dan ziet Google er blijkbaar weinig toegevoegde waarde in naast wat er al is. Dat is een aanname uit de praktijk. In de uitleg van Google staat die koppeling niet meer.

Het aantal groeit snel na een wijziging aan de site. Een nieuw sjabloon, een migratie of een plugin die duizenden URL's aanmaakt kan het rapport in een paar dagen laten kantelen. Zet de datum van de wijziging naast de grafiek. Ook honderden bijna identieke locatiepagina's of productpagina's met alleen een andere maat in de titel zie je hier vaak terug.

Zo doe je de check in een uur

Open in Search Console het rapport Pagina-indexering, klik op de regel "gecrawld, momenteel niet geïndexeerd" en exporteer de lijst naar een spreadsheet. Doe daarna dit.

1. Sorteer de URL's in groepen op patroon, bijvoorbeeld alles met een vraagteken, alles onder /tag/ en alles onder /product/. Je ziet meteen welke groep de lijst vult.
2. Streep alles weg wat je bewust niet in Google wilt hebben. Daar hoef je niets mee, behalve controleren dat die pagina's niet in je sitemap staan.
3. Maak van wat overblijft een lijst van maximaal twintig pagina's die ertoe doen. Controleer ze één voor één met de URL-inspectietool.
4. Lees per pagina de eerste alinea alsof je de zoeker bent. Beantwoordt die de vraag, of staat er vooral een algemene inleiding?
5. Kijk hoeveel interne links naar de pagina wijzen en vanaf welke pagina's. Een dienstpagina die alleen in het footermenu hangt, zegt weinig over belang.

Een pagina die Google heeft gecrawld en laat liggen, vraagt om meer inhoud en meer interne verwijzingen, niet om nog een keer op de knop Indexering aanvragen te drukken.

Verander pas daarna iets. Voeg aan de zwakke pagina's iets toe dat een ander niet heeft, zoals eigen prijzen, een voorbeeld uit je praktijk of een heldere vergelijking, en link er vanuit minimaal drie relevante pagina's naartoe met een anker dat zegt waar de pagina over gaat.

Het verschil met "gevonden, momenteel niet geïndexeerd"

Deze twee statussen lijken op elkaar maar betekenen iets anders. Bij "gevonden, momenteel niet geïndexeerd" heeft Google de URL gezien, bijvoorbeeld in je sitemap, maar nog niet gecrawld. Bij "gecrawld, momenteel niet geïndexeerd" is de pagina wél bezocht en is er na het lezen niet voor gekozen. Het eerste gaat over crawlen, het tweede over wat Google na het lezen besloot.

Staan er honderden URL's in de eerste groep, dan zit er waarschijnlijk veel ruis in je sitemap of je interne links. Snoei dat eerst, voordat je naar de inhoud kijkt.

Wat je beter niet doet

Dien niet in bulk dezelfde URL's steeds opnieuw in via het verzoek om indexering. Dat is zichtbaar werk, maar het lost niets op als de pagina zelf geen reden geeft om te blijven. Verwijder ook niet in paniek alle pagina's uit de lijst met een 404 of een noindex. Gary Illyes zou volgens de dagelijkse samenvatting van Search Engine Roundtable van 5 november hebben gezegd dat Google een belangrijke URL die een 4xx teruggeeft tijdelijk beschermt tegen meteen uit de index vallen. Zie dat als een veiligheidsmarge voor fouten en niet als een werkwijze. De oorspronkelijke uitspraak hebben we niet kunnen nalezen, dus neem dit als signaal en niet als regel.

Schrijf ook niet elke melding toe aan een straf. Er is geen aanwijzing in de uitleg van Google dat deze status een handmatige maatregel of spamfilter is.

Wil je dat iemand je rapport doorloopt en de twintig belangrijkste pagina's beoordeelt? Plan een strategiegesprek en neem je export mee.

Veelgestelde vragen

Moet ik pagina's met de status gecrawld, momenteel niet geïndexeerd altijd oplossen?

Nee. Google zegt in de bijgewerkte uitleg dat deze melding veel voorkomt en niet per se een probleem aangeeft. Kijk alleen naar pagina's die voor je omzet of je bedrijf belangrijk zijn.

Helpt het om de pagina opnieuw te laten indexeren via Search Console?

Meestal niet als de pagina onveranderd blijft. Verbeter eerst de pagina en voeg interne links toe. Gebruik daarna de URL-inspectietool om te controleren of er iets blokkeert.

Is dit hetzelfde als gevonden, momenteel niet geïndexeerd?

Nee. Bij gevonden heeft Google de URL alleen ontdekt en nog niet gecrawld. Bij gecrawld heeft Google de pagina bezocht en er niet voor gekozen hem op te nemen.