Plik robots.txt mówi crawlerom, które części witryny mogą pobierać. Sam z siebie nie gwarantuje indeksacji.
Zbyt szerokie reguły disallow mogą przypadkowo zablokować CSS, skrypty lub ważne sekcje. Konkretne reguły są zwykle bezpieczniejsze.
Po zmianie robots.txt przetestuj ścieżki, które najbardziej się liczą: stronę główną, produkty, wpisy bloga i kluczowe narzędzia.
Zablokowany URL może uniemożliwić crawlerowi zobaczenie tagu noindex na poziomie strony — warto to uzgodnić.
Użyj testera robots, aby sprawdzić ścieżkę względem reguł przed wdrożeniem na produkcję.