Waarom Amethyst? De missie achter Zero-Bloat Shopify-apps

Inleiding

Het publiceren van een pagina betekent niet dat zoekmachines deze zullen indexeren.

Dit is een van de meest frustrerende onderdelen van SEO. Je maakt een pagina, voegt deze toe aan je site, dient hem misschien in bij Search Console en wacht vervolgens af. Er gaan dagen voorbij. Soms weken. De pagina verschijnt nog steeds niet in Google.

Het probleem is dat indexering geen enkele stap is. Een zoekmachine moet de URL ontdekken, crawlen, renderen, begrijpen, beslissen of het de moeite waard is om op te slaan en vervolgens beslissen of deze in de zoekresultaten moet verschijnen.

Als een onderdeel van dat proces hapert, wordt de pagina mogelijk niet geïndexeerd.

Deze gids legt de meest voorkomende redenen uit waarom pagina's niet worden geïndexeerd, hoe je het probleem diagnosticeert en wat je als eerste moet repareren.

Wat betekent "niet geïndexeerd" eigenlijk?

Een pagina is niet geïndexeerd wanneer een zoekmachine wel van de URL op de hoogte is, maar deze niet heeft toegevoegd aan zijn doorzoekbare index, of wanneer de URL helemaal niet is ontdekt.

Er zijn verschillende situaties die vaak op één hoop worden gegooid:

• De zoekmachine heeft de URL niet gevonden.
• De zoekmachine heeft de URL wel gevonden, maar niet gecrawld.
• De zoekmachine heeft de URL gecrawld, maar besloten deze niet te indexeren.
• De pagina was voorheen geïndexeerd, maar is later verwijderd.
• De pagina is geblokkeerd, omgeleid, ergens anders als canonical aangemerkt of gemarkeerd als noindex.

Elke situatie vereist een andere oplossing.

Crawlen vs Indexeren

Crawlen en indexeren zijn niet hetzelfde.

Crawlen betekent dat een zoekmachine een pagina bezoekt en de inhoud ophaalt.

Indexeren betekent dat de zoekmachine besluit die pagina op te slaan in zijn index, zodat deze mogelijk in de zoekresultaten kan verschijnen.

Een pagina kan gecrawld zijn en toch niet geïndexeerd worden. Dit komt vaak voor.

Google kan bijvoorbeeld een pagina crawlen en besluiten dat:

• De inhoud te dun (thin content) is.
• De pagina een duplicaat is van een andere URL.
• De canonical-tag naar ergens anders wijst.
• De pagina onvoldoende waarde toevoegt.
• De pagina is geblokkeerd voor indexering.

Dit is waarom het indienen van een URL slechts een deel van het proces is. De pagina moet het ook waard zijn om geïndexeerd te worden.

Hoe zoekmachines pagina's ontdekken

Zoekmachines kunnen pagina's op verschillende manieren ontdekken:

• Interne links vanaf andere pagina's op je site
• XML-sitemaps
• Externe links van andere websites
• Handmatige indiening via Search Console
• API's en notificatiesystemen
• Het crawlen van bekende URL-patronen

Als een pagina nergens wordt gelinkt, niet in je sitemap staat en niet is ingediend, kan het veel langer duren voordat deze wordt ontdekt.

Ontdekking is de eerste horde. Kwaliteit en technische gereedheid komen daarna.

1. De pagina is nooit ontdekt

Soms is het probleem simpel: de zoekmachine weet niet dat de pagina bestaat.

Dit gebeurt vaak bij:

• Nieuwe websites
• Nieuwe blogberichten
• Landingspagina's waar niet vanuit de navigatie naar wordt gelinkt
• Productpagina's die diep in een catalogus zijn begraven
• Pagina's die door JavaScript worden gemaakt maar niet in de sitemap staan
• "Weespagina's" (orphan pages) zonder interne links

Hoe je dit oplost:

• Voeg de URL toe aan je XML-sitemap.
• Plaats links naar de pagina vanaf relevante, bestaande pagina's.
• Dien de URL in via de juiste indieningsprocedure.
• Zorg ervoor dat de pagina is opgenomen in je sitestructuur.

Als een pagina belangrijk is, verberg hem dan niet.

2. De pagina is geblokkeerd door robots.txt

robots.txt vertelt crawlers welke delen van je site ze niet mogen bezoeken.

Als je pagina is geblokkeerd door robots.txt, kunnen zoekmachines deze mogelijk niet correct crawlen.

Voorbeeld:

User-agent: *
Disallow: /blog/

Dit blokkeert crawlers voor toegang tot pagina's binnen /blog/.

Hoe je dit oplost:

• Controleer https://jouwdomein.nl/robots.txt.
• Zorg dat belangrijke secties niet worden geblokkeerd.
• Test de pagina in Google Search Console.
• Verwijder onbedoelde "disallow"-regels.

Gebruik robots.txt niet om indexering te beheren, tenzij je de gevolgen begrijpt. Als een pagina wordt geblokkeerd voor crawlen, kunnen zoekmachines mogelijk belangrijke indexeringssignalen op de pagina niet zien.

3. De pagina heeft een noindex-tag

Een noindex-richtlijn vertelt zoekmachines om een pagina niet te indexeren.

Dit kan verschijnen als een meta-tag:

<meta name="robots" content="noindex">

Of als een HTTP-header.

Dit is nuttig voor privépagina's, duplicaten of pagina's met weinig waarde. Maar het is een serieus probleem als dit op een pagina staat die je juist wél geïndexeerd wilt hebben.

Hoe je dit oplost:

• Inspecteer de paginabron.
• Controleer de instellingen van je SEO-plugin.
• Controleer de zichtbaarheidsinstellingen in je CMS.
• Verwijder noindex van pagina's die in de zoekresultaten moeten verschijnen.

Een pagina met noindex kan worden ontdekt en gecrawld, maar mag niet worden geïndexeerd.

4. Canonical-tags wijzen naar ergens anders

Een canonical-tag vertelt zoekmachines welke URL de voorkeursversie van een pagina is.

Voorbeeld:

<link rel="canonical" href="https://voorbeeld.nl/hoofdpagina">

Als je pagina een canonical-tag heeft die naar een andere URL wijst, indexeren zoekmachines mogelijk die canonical-URL in plaats van jouw pagina.

Dit is niet altijd fout. Canonicals zijn nuttig voor duplicaten of vergelijkbare pagina's. Maar als elke pagina naar de homepage wijst, of als belangrijke pagina's naar de verkeerde URL wijzen, kan de indexering haperen.

Hoe je dit oplost:

• Controleer de canonical-tag op de pagina.
• Zorg dat deze naar de juiste versie wijst.
• Voorkom onbedoelde fouten met zelf-verwijzende canonicals.
• Koppel unieke pagina's niet via een canonical aan niet-gerelateerde pagina's.

Als je wilt dat een pagina wordt geïndexeerd, heeft deze meestal een zelf-verwijzende canonical-tag nodig.

5. De pagina geeft een foutstatus

Zoekmachines moeten de pagina succesvol kunnen openen.

Als de URL een foutmelding geeft, is indexering onwaarschijnlijk.

Veelvoorkomende statusproblemen zijn:

• 404 niet gevonden
• 410 verwijderd
• 500 serverfout
• 503 onbeschikbaar
• Redirect-loops (omleidingslussen)
• Geblokkeerde bronnen

Hoe je dit oplost:

• Controleer de HTTP-statuscode.
• Herstel kapotte routes.
• Los serverfouten op.
• Vermijd ketens van omleidingen.
• Zorg dat de uiteindelijke bestemming een 200-status geeft.

Een pagina die technisch faalt, zal moeite hebben om geïndexeerd te worden, zelfs als de inhoud goed is.

6. Dunne of waardeloze inhoud

Soms is de pagina technisch in orde, maar is de inhoud niet sterk genoeg.

Een "dunne" pagina kan het volgende bevatten:

• Zeer weinig originele inhoud
• Algemene teksten
• Geen duidelijk doel
• Geen bruikbare antwoorden
• Geen unieke waarde
• Gekopieerde beschrijvingen van fabrikanten
• Lege categoriepagina's

Zoekmachines hoeven niet elke pagina die ze vinden te indexeren. Als een pagina weinig waarde toevoegt, kan deze wel worden gecrawld maar niet geïndexeerd.

Hoe je dit oplost:

• Voeg nuttige, originele informatie toe.
• Beantwoord echte vragen van gebruikers.
• Voeg relevante voorbeelden toe.
• Verbeter interne links.
• Voeg gestructureerde secties toe.
• Verwijder of voeg zwakke pagina's samen.

Een dunne pagina vaker indienen zal het probleem niet oplossen. Verbeter de pagina eerst.

7. Dubbele inhoud (duplicate content)

Dubbele inhoud is een andere veelvoorkomende reden waarom pagina's niet worden geïndexeerd.

Als meerdere URL's bijna dezelfde inhoud bevatten, kunnen zoekmachines er één kiezen en de rest negeren.

Veelvoorkomende voorbeelden:

• Productvarianten
• Gefilterde collectiepagina's
• Printervriendelijke pagina's
• Locatiepagina's met vrijwel identieke tekst
• Gekopieerde leveranciersbeschrijvingen
• URL-parameters die duplicaten creëren

Hoe je dit oplost:

• Gebruik canonical-tags correct.
• Consolideer dubbele pagina's.
• Voeg unieke inhoud toe waar pagina's op zichzelf moeten staan.
• Blokkeer of geef een noindex aan pagina's met parameters van lage waarde, indien gepast.
• Verbeter de interne linkstructuur naar de voorkeursversie.

Dubbele pagina's leiden niet altijd tot een straf. Vaak kiezen zoekmachines er simpelweg voor om niet elke versie te indexeren.

8. Slechte interne linkstructuur

Interne links helpen zoekmachines pagina's te ontdekken en hun belang te begrijpen.

Als een pagina heel weinig interne links heeft, kunnen zoekmachines deze als minder belangrijk beschouwen.

Dit komt vooral voor bij:

• Oude blogberichten
• Landingspagina's
• Nieuwe servicepagina's
• Diepliggende productpagina's
• Seizoensgebonden pagina's
• Pagina's die buiten de hoofdnavigatie zijn gemaakt

Hoe je dit oplost:

• Link naar de pagina vanaf relevante, bestaande pagina's.
• Voeg links toe vanuit categorie- of hubpagina's.
• Gebruik beschrijvende ankertekst.
• Neem de pagina op in nuttige navigatie waar dat relevant is.
• Link vanaf pagina's die al geïndexeerd zijn en goed presteren.

Interne linkstructuur is een van de eenvoudigste manieren om de vindbaarheid te verbeteren.

9. Weespagina's (Orphan pages)

Een weespagina is een pagina waarnaar geen interne links wijzen.

Zoekmachines kunnen weespagina's nog steeds ontdekken via sitemaps of externe links, maar ze zijn moeilijker te begrijpen en te prioriteren.

Als een pagina belangrijk genoeg is om te ranken, hoort deze normaal gesproken verbonden te zijn met de rest van je site.

Hoe je dit oplost:

• Vind weespagina's met een crawl-tool of site-audit.
• Voeg interne links toe vanaf relevante pagina's.
• Neem belangrijke pagina's op in je sitemap.
• Groepeer gerelateerde inhoud in hubs.
• Verwijder weespagina's die geen doel dienen.

Een pagina zonder interne links verstuurt een zwak signaal over het belang ervan.

10. Zwakke site-autoriteit

Het duurt bij nieuwe websites of websites met lage autoriteit vaak langer voordat pagina's geïndexeerd worden.

Zoekmachines hebben beperkte crawl-capaciteit. Ze crawlen meestal vaker vertrouwde, actieve en autoritaire sites.

Als je site nieuw is, weinig backlinks heeft, een zwakke interne structuur heeft of weinig geschiedenis aan inhoud heeft, kan de indexering trager verlopen.

Hoe je dit verbetert:

• Publiceer consistent nuttige inhoud.
• Bouw interne links tussen gerelateerde pagina's.
• Verdien relevante externe links.
• Houd je sitemap schoon.
• Voorkom het publiceren van grote hoeveelheden zwakke pagina's.

Autoriteit gaat niet alleen over links. Het gaat ook over vertrouwen, nut en consistentie.

11. Problemen met crawl-budget

Het crawl-budget is de hoeveelheid tijd die een zoekmachine wil besteden aan het crawlen van je site.

Voor kleine sites is dit meestal niet het voornaamste probleem. Maar voor grote e-commercesites, mappen, uitgevers en programmatische SEO-sites kan dit wel degelijk uitmaken.

Problemen met het crawl-budget ontstaan wanneer zoekmachines tijd verspillen aan:

• Dubbele URL's
• Filterpagina's
• Zoekresultatenpagina's
• Oneindige URL-parameters
• Ketens van omleidingen
• Kapotte pagina's
• Dunne pagina's

Hoe je dit oplost:

• Ruim dubbele URL-patronen op.
• Verbeter canonical-tags.
• Verwijder URL's met lage waarde uit sitemaps.
• Herstel redirect-ketens.
• Blokkeer of geef noindex aan secties met lage waarde, waar nodig.
• Verbeter de snelheid van de site en de betrouwbaarheid van de server.

Het doel is om crawlers te helpen meer tijd te besteden aan de pagina's die er toe doen.

12. Problemen met het renderen van JavaScript

Sommige pagina's vertrouwen zwaar op JavaScript om inhoud weer te geven.

Zoekmachines kunnen JavaScript verwerken, maar dat kan trager of complexer zijn dan het crawlen van normale HTML.

Als belangrijke inhoud, links, titels of gestructureerde data pas verschijnen nadat JavaScript is uitgevoerd, kan de ontdekking en indexering worden beïnvloed.

Hoe je dit oplost:

• Maak belangrijke inhoud waar mogelijk beschikbaar in server-rendered HTML.
• Controleer de gerenderde HTML.
• Test met de URL-inspectietool in Search Console.
• Vermijd het verbergen van essentiële links achter scripts.
• Zorg dat gestructureerde data aanwezig en geldig is.

Als gebruikers en crawlers niet dezelfde belangrijke inhoud kunnen zien, kan indexering onbetrouwbaar worden.

13. Recent gepubliceerde pagina's

Soms is er niets mis. De pagina is simpelweg nieuw.

Zoekmachines indexeren niet elke pagina direct. Zelfs sterke pagina's kunnen tijd nodig hebben om te verschijnen.

De snelheid van indexeren hangt af van:

• Site-autoriteit
• Interne links
• Versheid van de sitemap
• Crawl-frequentie
• Kwaliteit van de pagina
• Technische gezondheid
• Vraag vanuit zoekopdrachten

Hoe je dit aanpakt:

• Zorg dat de pagina crawlbaar is.
• Voeg interne links toe.
• Neem de pagina op in de sitemap.
• Dien deze in via je normale procedure.
• Monitor de pagina in de loop van de tijd.

Blijf niet elke paar minuten opnieuw indienen. Los eerst de echte problemen op.

14. Soft 404-pagina's

Een "soft 404" treedt op wanneer een pagina een 200-statuscode teruggeeft, maar eruitziet als een lege of ontbrekende pagina.

Bijvoorbeeld:

• Een productpagina zonder product
• Een categoriepagina zonder items
• Een dunne pagina die meldt dat de inhoud niet gevonden kan worden
• Een sjabloonpagina met vrijwel geen nuttige informatie

Zoekmachines kunnen deze pagina's als waardeloos of ontbrekend beschouwen, zelfs als de server zegt dat ze bestaan.

Hoe je dit oplost:

• Voeg nuttige inhoud toe.
• Geef een correcte 404- of 410-statuscode voor verwijderde pagina's.
• Stuur gebruikers door naar een relevante vervanger, waar gepast.
• Voorkom het indexeren van lege sjablonen.

Een pagina moet echte waarde bieden, niet alleen een succesvolle statuscode teruggeven.

15. Zoekmachines hebben simpelweg besloten niet te indexeren

Dit is het antwoord waar niemand van houdt, maar het is vaak wel de waarheid.

Zoekmachines zijn niet verplicht om elke crawlbare pagina te indexeren.

Een pagina kan technisch in orde zijn en toch niet in de index terechtkomen als de zoekmachine besluit dat deze niet nuttig genoeg is.

Dit kan gebeuren wanneer:

• Het onderwerp elders al beter wordt behandeld.
• De pagina nauwelijks unieke waarde toevoegt.
• De site veel vergelijkbare pagina's bevat.
• De inhoud algemeen is.
• De pagina zwakke interne links heeft.
• De algehele kwaliteit van de site laag is.

Hoe je dit oplost:

• Verbeter de inhoud.
• Maak de pagina nuttiger dan concurrerende resultaten.
• Voeg originele voorbeelden, data of begeleiding toe.
• Versterk de interne links.
• Consolideer vergelijkbare pagina's.
• Bouw autoriteit op rond het onderwerp.

Indexering is niet alleen technisch. Het is ook redactioneel.

Hoe je indexeringsproblemen diagnosticeert

Een goede diagnose van indexering volgt een vaste volgorde.

Begin bij de ontdekking:

• Staat de URL in de sitemap?
• Is er intern naar gelinkt?
• Is de pagina ingediend?
• Heeft Search Console de pagina ontdekt?

Controleer dan de technische toegang:

• Geeft de pagina een 200-statuscode?
• Is de pagina geblokkeerd door robots.txt?
• Bevat de pagina een noindex-tag?
• Wijst de canonical naar ergens anders?
• Wordt de pagina omgeleid?

Controleer daarna de kwaliteit:

• Is de inhoud nuttig?
• Is deze uniek?
• Beantwoordt het een echte zoekbehoefte?
• Is de pagina beter dan concurrerende pagina's?
• Is er voldoende interne ondersteuning?

Monitor vervolgens:

• Is de pagina gecrawld?
• Is deze geïndexeerd?
• Waren er vertoningen zichtbaar?
• Waren er klikken zichtbaar?
• Zijn de rankings veranderd na de aanpassingen?

Dit proces is nuttiger dan simpelweg weer op "indienen" drukken.

Een eenvoudige indexeringschecklijst

Controleer het volgende voordat je een URL indient:

• De pagina geeft een 200-statuscode terug.
• De pagina is niet geblokkeerd door robots.txt.
• De pagina bevat geen noindex-tag.
• De canonical wijst naar zichzelf.
• De pagina is opgenomen in de sitemap.
• De pagina heeft interne links.
• De titel en H1 zijn duidelijk.
• De inhoud is nuttig en origineel.
• Gestructureerde data is geldig waar relevant.
• De pagina laadt correct op mobiel.
• Belangrijke inhoud is zichtbaar in de gerenderde HTML.
• De pagina is geen duplicaat.

Als er meerdere van deze mislukken, repareer dan de pagina voordat u probeert deze te laten indexeren.

Hoe IndexStream helpt

IndexStream is ontworpen om indexering minder verwarrend en beter traceerbaar te maken.

In plaats van indexering als een eenmalige indiening te behandelen, biedt het u een workflow:

• URL's indienen.
• Loggen wat er is ingediend.
• Controleren of verzoeken zijn geaccepteerd.
• Pagina-gereedheid auditen.
• Fix-kaarten genereren.
• Concurrenten benchmarken.
• Content briefs maken.
• Search Console- en analytische gegevens monitoren.
• Oplossingen in de loop van de tijd volgen.

Het doel is niet om indexering te garanderen. Geen enkele verantwoordelijke tool kan dat.

Het doel is om u te helpen begrijpen wat er is gebeurd, wat ontdekking blokkeert en wat u vervolgens moet repareren.

Voor gerelateerde lectuur, zie Google Indexing API uitgelegd, Wat is IndexNow? en de Technische SEO-checklist.

Slotgedachten

Als een pagina niet is geïndexeerd, ga er dan niet vanuit dat het enige antwoord is om deze opnieuw in te dienen.

Begin met het stellen van betere vragen:

• Is de pagina ontdekt?
• Kan deze worden gecrawld?
• Mag deze worden geïndexeerd?
• Is de canonical correct?
• Is de content nuttig genoeg?
• Is er intern naar gelinkt?
• Is deze anders dan andere pagina's?

Indexeringsproblemen zijn vaak een mix van ontdekking, technische kwaliteit, contentkwaliteit en prioritering.

De sterkste SEO-workflows pushen niet alleen meer URL's. Ze helpen u beslissen welke pagina's het waard zijn om in te dienen, wat er moet worden gerepareerd en of de oplossingen de zichtbaarheid daadwerkelijk hebben verbeterd.

Veelgestelde vragen

Waarom is mijn pagina niet geïndexeerd?

Uw pagina is mogelijk niet geïndexeerd omdat deze niet is ontdekt, geblokkeerd is, een noindex bevat, naar een andere canonical URL verwijst, dunne content bevat, een duplicaat van een andere pagina is of niet voldoet aan de kwaliteitsdrempels van zoekmachines.

Hoe lang duurt indexeren?

Indexeren kan minuten, dagen of weken duren. De timing hangt af van de site, paginakwaliteit, crawl-vraag, interne links en beslissingen van zoekmachines.

Garantieert het indienen van een URL indexering?

Nee. Het indienen van een URL kan helpen bij de ontdekking, maar zoekmachines beslissen nog steeds of ze deze crawlen en indexeren.

Kan een pagina worden gecrawld maar niet geïndexeerd?

Ja. Een zoekmachine kan een pagina crawlen en toch besluiten deze niet te indexeren.

Stopt robots.txt indexering?

robots.txt blokkeert het crawlen, niet direct het indexeren. Als een pagina echter niet kan worden gecrawld, kunnen zoekmachines mogelijk belangrijke indexeringssignalen niet zien.

Wat is een weespagina (orphan page)?

Een weespagina is een pagina waar geen interne links naar verwijzen. Weespagina's zijn moeilijker voor zoekmachines om te ontdekken en te begrijpen.

Hoe weet ik of Google mijn pagina heeft ontdekt?

Gebruik de Google Search Console URL-inspectietool, sitemap-rapporten, serverlogboeken of een workflow-tool voor indexering om te controleren of de pagina is ontdekt of gecrawld.