robots.txt dosyası ne işe yarar?

robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi yolları taramaları gerektiğini öneren bir metin dosyasıdır.

Önemli notlar

• robots.txt bir “güvenlik duvarı” değildir; hassas alanlar için erişim kontrolü başka mekanizmalarla sağlanmalıdır.
• Disallow yalnızca uyumlu botlar için yönlendirme niteliğindedir.
• Harita ve önemli landing sayfalarının taranmasını engellemeyin.

Seorra, robots.txt dosyanızın erişilebilir olup olmadığını kontrol eder ve raporda gösterir.