Önemli yolları test edin
Şablonları, varlıkları, yönetici alanlarını, parametreleri ve kanonik içeriği ayrı ayrı denetleyin.
Robots.txt Test Aracı
Robots.txt kurallarını getirin veya yapıştırın ve tarayıcının bir URL yoluna erişimini test edin.
veya manuel olarak yapıştırın
Tarayıcı yönergelerini anlayın
Robots.txt, indekslemeyi garanti etmez, taramayı kontrol eder. Seçilen tarayıcı için belirli izin verme ve izin vermeme kuralları değerlendirilir.
Hassasiyeti tercih edin
Aşırı geniş izin vermeme kuralları, önemli sayfaları veya oluşturma varlıklarını taramadan kaldırabilir.
Noindex'i doğru kullanın
Bir robot bloğu, tarayıcıların sayfa düzeyinde bir noindex yönergesini görmesini engelleyebilir.
Nasıl kullanılır Robots.txt Test Aracı
Üç basit adımda güvenilir bir sonuç elde edin.
Kuralları yükleyin veya yapıştırın
Bir alan adından robots.txt dosyasını alın veya dosya içeriğini yapıştırın.
Bir yol ve tarayıcı seçin
Önemsediğiniz URL yolunu ve kullanıcı aracısını test edin.
Kararı okuyun
En spesifik eşleştirme kuralının taramaya izin verip vermediğini veya taramayı engelleyip engellemediğini görün.
Günlük işler için tasarlandı
Yoğun iş olmadan kullanışlıdır
Odaklanmış kontroller, anında geri bildirim ve sizinle sonuç arasında hiçbir hesap yok.
Tarayıcıya özel testler
Googlebot, Bingbot ve yaygın AI tarayıcılarını karşılaştırın.
Getir veya yapıştır
Yayınlamadan önce canlı bir dosyayı veya taslağı denetleyin.
Eşleşen kural ekranı
Tam olarak hangi izin verme veya reddetme satırının sonuca karar verdiğini görün.
Pratik kılavuz
Nedir Robots.txt Test Aracı?
Bir robots.txt dosyası, tarayıcılara hangi yolları isteyebileceklerini bildirir. Taramayı kontrol eder, indekslemeyi garanti etmez ve farklı kullanıcı aracıları farklı kurallar alabilir.
Allow ve disallow yönergeleri yol uzunluğuna ve özgüllüğüne göre eşleştirilir. Robots.txt dosyasındaki bir sayfayı engellemek, tarayıcıların o sayfada daha sonra noindex etiketini görmesini de engelleyebilir.
Pratik referans
Robots.txt ile diğer kontrollerin karşılaştırılması
SeçenekŞunun için iyi:Önemli husus
robots.txt
Şunun için iyi:
URL yollarına tarama erişimi
Önemli husus
Zaten dizine eklenmiş bir URL'yi güvenilir bir şekilde kaldırmaz
noindex
Şunun için iyi:
Getirilen bir sayfanın indekslenmesi
Önemli husus
Tarayıcının sayfayı görmesi için istekte bulunmasına izin verilmelidir
Kimlik doğrulama
Şunun için iyi:
Özel kullanıcı içeriği
Önemli husus
Gerçekten gizli sayfalar için robots.txt'den daha güçlü
Kanonik etiketler
Şunun için iyi:
Yinelenen URL seçimi
Önemli husus
Robot kurallarını tamamlayın; onların yerini almazlar
Pratik uygulamalar
Bu araç ne zaman kullanılmalı?
Ortak yollar Robots.txt Test Aracı gerçek projelere ve günlük görevlere uyar.
Kontrolleri başlat
Önemli şablonların taranabilir durumda kaldığını doğrulayın.
Yönetici koruması
Özel veya parametre ağırlıklı yolların engellendiğini doğrulayın.
AI tarayıcı politikası
GPTBot, ClaudeBot veya benzer aracılar için özel grupları test edin.
Olay incelemesi
Bir bölümün neden aniden tarama günlüklerinden kaybolduğunu teşhis edin.
Sıkça Sorulan Sorular
Web araçlarımız ve özelliklerimiz hakkında cevap mı arıyorsunuz? Yardımcı açıklamalarla yanınızdayız.