robots.txt 파일은 크롤러가 사이트의 어느 부분을 요청해도 되는지 알려 줍니다. 그 자체로 색인을 보장하지는 않습니다.
넓은 disallow 규칙은 CSS, 스크립트, 중요한 섹션을 실수로 막을 수 있습니다. 구체적인 규칙이 보통 더 안전합니다.
robots.txt를 변경할 때는 홈, 제품 페이지, 블로그 글, 주요 도구 등 중요한 경로를 테스트하세요.
차단된 URL은 크롤러가 페이지 단위 noindex 태그를 볼 수 없게 할 수 있으므로 규칙을 함께 맞추는 것이 중요합니다.
프로덕션에 변경을 게시하기 전에 robots 테스터로 규칙에 대해 경로를 확인하세요.