Yandex SEO Robots.Txt Kullanımı

Arama motorlarının siteleri tarayıp indeksleme sırasında hangi sayfalara erişim sağlaması gerektiğini belirten robots.txt dosyasının nasıl hazırlanacağını Robots.txt Nedir? Nasıl Kullanılır? yazımızda belirtmiştik.

Unutulmamalıdır ki robots.txt dosyası komutlarının asıl amacı arama robotlarının erişimini kısıtlayarak arama sonuçlarında sitenizin indekslenmesini istemediğiniz alanlarını belirtmenizdir, robots.txt dosyanız olmasa bile siteniz bir şekilde indekslenecektir.
Konu ile ilgili bulabileceğiniz tüm yazılar genel olarak Google aramaları için temel alınan robots.txt dosyası hakkında bilgi vermektedir.

Bu yazımızda Yandex Türkiye arama motoru için yapılacak Yandex SEO çalışmalarında kullanılması gereken ROBOTS TXT dosyası hakkında bilgi vereceğiz.



Farklı amaçlar için farklı Yandex robotları bulunmaktadır. Sitenizin kullanımına yönelik ayrı komutlar vererek Yandex üzerinde indekslenme durumunu düzenleyebilirsiniz. Örneğin robots.txt dosyanızda ” User-agent: YandexImages ” için ayrı komut var ise ” User-agent: * ” için komutlardikkate alınmaz.

  • ‘YandexBot‘ — temel indeksleme robotu;
  • ‘YandexMedia‘ — multimedya verilerini indeksleyen robot;
  • ‘YandexImages‘ — Yandex.Görsel indeksleyicisi;
  • ‘YandexCatalog‘ — Yandex.Katalog denetleme robotu. Katalog’da erişilmeyen sitelerin yayından geçici olarak kaldırılması;
  • ‘YaDirectFetcher‘ — Yandex.Direct robotu, Direct servisinde kayıtlı sitelerin incelenmesi;;
  • ‘YandexBlogs‘ — gönderilen yorumları indeksleyen blog araması robotu;
  • ‘YandexNews‘ — Yandex.Haberler robotu;
  • ‘YandexPagechecker‘ — Mikro etiket doğrulayıcısı;
  • ‘YandexMetrika’ — Yandex.Metrica robotu;
  • ‘YandexMarket’— Yandex.Market robotu;
  • ‘YandexCalendar’ — Yandex.Takvim robotu.



Host Komutu

Websitenizde mirror/ayna varsa, özel bir ayna oluşturma robotu bunu belirler ve sitenizin ayna grubunu oluşturur. Aramada yalnızca birincil ayna yer alır. robots.txt dosyasında ‘Host’ yönergesini kullanarak ve yönerge parametresi olarak da birincil aynanın adını tanımlayarak, tüm aynalar için birincil aynayı belirtebilirsiniz. Örnek:

#Sitenin birincil aynası www.birincil-ayna.com ise, ayna grubundaki tüm siteler için
#robots.txt dosyası şöyle görünür:
User-Agent: Yandex
Disallow: /wp-admin
Host: www.birincil-ayna.com


Crawl-delay Komutu

Özellikle dosya indirme siteleri için kullanılabilecek bu komut Yandex robotunun site dolaşımını hızlandırmayı sağlar. Eebsitenizin sunucusu aşırı yüklüyse ve indirme isteklerini işlemeye yetişemiyorsa, “Crawl-delay” yönergesini kullanabilirsiniz. Örnek:
User-agent: Yandex
Crawl-delay: 2 # 2 saniyelik zaman aşımı belirtir
User-agent: *
Disallow: /wp-admin
Crawl-delay: 4.5 # 4.5 saniyelik zaman aşımı belirtir


Yandex Robots.Txt Kullanımı

Yandex arama motoru için yukarıda belirttiğimiz özellikleri kullarak hazırlayabileceğiniz WordPress tabanlı bir site için örnek robots.txt dosyası kullanımı aşağıdaki gibidir. Söz konusu komutları sitenizin özelliklerine göre değiştirebilirsiniz. Elbette bununla beraber Google robotları için ” User-agent: * ” komutunu da kullanmalısınız.

User-agent: Yandex
Crawl-delay: 2
Disallow: /tradisionales/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Host: Turkiyeforumlari.net
Sitemap: http://Turkiyeforumlari.net/sitemap.xml


Robots.txt dosyanızın doğru işleyip işlemediğini denetlemek için, Yandex robots.txt dosyası analiz aracı‘nı kullanabilirsiniz. Bu araçta siteniz.com/robots.txt URL adresini girip “yükle” ve sonrasında “denetle” tıklayarak altta görebileceğiniz “Kullanılan Kısımlar” alanında bu dosyanızın doğru çalışıp çalışmadığını inceleyebilirsiniz.