Файл robots.txt сообщает краулерам, какие части сайта они могут запрашивать. Сам по себе он не гарантирует индексацию.
Слишком широкие правила disallow могут случайно заблокировать CSS, скрипты или важные разделы. Конкретные правила обычно безопаснее.
При изменении robots.txt проверьте важнейшие пути: главную, страницы товаров, записи блога и ключевые инструменты.
Заблокированный URL может помешать краулеру увидеть noindex на уровне страницы — эти настройки лучше согласовывать.
Используйте тестер robots, чтобы проверить путь по вашим правилам перед публикацией изменений в production.