Robots.txt check (basic)
Controleer of een robots.txt-bestand bestaat en bekijk de belangrijkste crawlregels voor zoekmachines.
Wat is een robots.txt-bestand?
Een robots.txt-bestand geeft zoekmachines instructies over welke pagina’s wel of niet gecrawld mogen worden. Fouten hierin kunnen ernstige SEO-gevolgen hebben.
Wat doet deze tool?
Deze tool:
- controleert of robots.txt bereikbaar is
- toont de inhoud van het bestand
- markeert basisregels zoals User-agent, Disallow en Allow
Dit is een basischeck, bedoeld voor snelle validatie.
Wanneer is dit nuttig?
- controleren of je site per ongeluk is geblokkeerd
- snelle SEO-scan
- bij livegang of migratie
- debuggen van indexatieproblemen
Belangrijke beperking
Browsers blokkeren soms het ophalen van robots.txt door CORS-beperkingen.
👉 Op
productie kun je dit oplossen via:
- server-side fetch (PHP)
- proxy-endpoint
De tool zelf is technisch correct.