중요한 경로 테스트
템플릿, 자산, 관리 영역, 매개변수 및 표준 콘텐츠를 별도로 감사합니다.
Robots.txt 테스터
robots.txt 규칙을 가져오거나 붙여넣고 URL 경로에 대한 크롤러 액세스를 테스트하세요.
또는 수동으로 붙여넣기
크롤러 지시문 이해
Robots.txt는 색인 생성을 보장하지 않고 크롤링을 제어합니다. 선택한 크롤러에 대해 특정 허용 및 허용 안 함 규칙이 평가됩니다.
정밀도를 선호
지나치게 광범위한 금지 규칙은 크롤링에서 필수 페이지나 렌더링 자산을 제거할 수 있습니다.
NOINDEX를 올바르게 사용하세요
robots 블록은 크롤러가 페이지 수준 NOINDEX 명령어를 보지 못하도록 방지할 수 있습니다.
사용방법 Robots.txt 테스터
간단한 3단계를 통해 신뢰할 수 있는 결과를 얻으세요.
규칙 로드 또는 붙여넣기
도메인에서 robots.txt를 가져오거나 파일 콘텐츠를 붙여넣습니다.
경로 및 크롤러 선택
관심 있는 URL 경로와 사용자 에이전트를 테스트하세요.
평결 읽기
가장 구체적인 일치 규칙이 크롤링을 허용하거나 차단하는지 확인하세요.
일상적인 작업을 위해 제작됨
바쁜 일 없이 유용함
집중된 제어, 즉각적인 피드백, 귀하와 결과 사이에 어떠한 설명도 필요하지 않습니다.
크롤러 관련 테스트
Googlebot, Bingbot 및 일반적인 AI 크롤러를 비교해 보세요.
가져오기 또는 붙여넣기
게시하기 전에 라이브 파일이나 초안을 감사하세요.
일치하는 규칙 표시
허용 또는 허용하지 않는 줄이 결과를 결정했는지 정확하게 확인하세요.
실용 가이드
무엇입니까? Robots.txt 테스터?
robots.txt 파일은 크롤러가 요청할 수 있는 경로를 알려줍니다. 보장되지 않은 색인 생성이 아닌 크롤링을 제어하며, 서로 다른 사용자 에이전트는 서로 다른 규칙을 받을 수 있습니다.
허용 및 허용 안 함 지시문은 경로 길이 및 특이성에 따라 일치됩니다. robots.txt에서 페이지를 차단하면 크롤러가 해당 페이지에서 나중에 NOINDEX 태그를 보지 못하게 될 수도 있습니다.
실용적인 참고자료
Robots.txt와 다른 컨트롤 비교
옵션다음에 좋습니다중요한 고려사항
로봇.txt
다음에 좋습니다
URL 경로에 대한 크롤링 액세스
중요한 고려사항
이미 색인이 생성된 URL은 안정적으로 제거되지 않습니다.
noindex
다음에 좋습니다
가져온 페이지의 색인 생성
중요한 고려사항
크롤러는 페이지를 보기 위해 페이지를 요청할 수 있어야 합니다.
인증
다음에 좋습니다
개인 사용자 콘텐츠
중요한 고려사항
진정한 기밀 페이지에 대해서는 robots.txt보다 강력합니다.
표준 태그
다음에 좋습니다
중복된 URL 선택
중요한 고려사항
로봇 규칙을 보완합니다. 그들은 그들을 대체하지 않습니다
실제 응용
이 도구를 사용하는 경우
일반적인 방법 Robots.txt 테스터 실제 프로젝트와 일상 업무에 적합합니다.
점검 시작
중요한 템플릿이 계속 크롤링 가능한지 확인하세요.
관리자 보호
개인 또는 매개변수가 많은 경로가 차단되었는지 확인하세요.
AI 크롤러 정책
GPTBot, ClaudeBot 또는 유사한 에이전트에 대한 전용 그룹을 테스트합니다.
사고 검토
크롤링 로그에서 특정 섹션이 갑자기 사라진 이유를 진단합니다.
자주 묻는 질문
웹 도구와 기능에 대한 답변을 찾고 계신가요? 이해하기 쉬운 설명을 제공해 드립니다.