robots.txt dosyası ne işe yarar?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi yolları taramaları gerektiğini öneren bir metin dosyasıdır.

Önemli notlar

  • robots.txt bir “güvenlik duvarı” değildir; hassas alanlar için erişim kontrolü başka mekanizmalarla sağlanmalıdır.
  • Disallow yalnızca uyumlu botlar için yönlendirme niteliğindedir.
  • Harita ve önemli landing sayfalarının taranmasını engellemeyin.

Seorra, robots.txt dosyanızın erişilebilir olup olmadığını kontrol eder ve raporda gösterir.

Tüm yazılar