Een robots.txt-bestand vertelt crawlers welke delen van een site ze mogen opvragen. Het garandeert op zichzelf geen indexering.
Te brede disallow-regels kunnen per ongeluk CSS, scripts of belangrijke secties blokkeren. Specifieke regels zijn meestal veiliger.
Als je robots.txt wijzigt, test de paden die het meest tellen: home, productpagina’s, blogposts en belangrijke tools.
Een geblokkeerde URL kan voorkomen dat crawlers een noindex-tag op paginaniveau zien, dus coördineer beide.
Gebruik een robots-tester om een pad tegen je regels te controleren vóór je wijzigingen live zet.