Eine robots.txt sagt Crawlern, welche Teile einer Website sie anfragen dürfen. Sie garantiert allein keine Indexierung.
Sehr breite disallow-Regeln können CSS, Skripte oder wichtige Bereiche versehentlich blockieren. Spezifische Regeln sind meist sicherer.
Wenn du robots.txt änderst, teste die wichtigsten Pfade: Startseite, Produktseiten, Blogbeiträge und zentrale Tools.
Eine blockierte URL kann verhindern, dass Crawler ein noindex-Tag auf Seitenebene sehen – beides sollte zusammenpassen.
Nutze einen Robots-Tester, um einen Pfad gegen deine Regeln zu prüfen, bevor du Änderungen live stellst.