Nedir ?

Google bot, Google’ın web tarama botudur (bazen “örümcek” olarak da adlandırılır). Tarama, Google bot’un Google dizinine eklenecek yeni ve güncel sayfaları bulmasını sağlayan işlemdir.

Web’deki milyarlarca sayfayı bulup getirmek için muazzam sayıda bilgisayardan yararlanırız. Googlebot, algoritmaya dayalı bir işlem kullanır: Hangi sitelerin ne sıklıkta taranacağı ve her siteden kaç sayfa alınacağı bilgisayar programları tarafından belirlenir.

Googlebot’un tarama işlemi, önceki tarama işlemlerinde oluşturulan web sayfası URL’lerinin listesiyle başlar ve web yöneticileri tarafından sağlanan Site haritası verileriyle artar. Googlebot, bu web sitelerini ziyaret ettiğinde her sayfadaki bağlantıları (SRC ve HREF) tespit eder ve bunları taranacak sayfalar listesine ekler.

Yeni siteler, mevcut sitelerdeki değişiklikler ve geçersiz bağlantılar belirlenerek Google dizinini güncellemek için kullanılır.
Google İçeriğinizi Nasıl Tarar?

Google sisteminde akıllı botlar bulunmaktadır. Bu botları bütün dünyaya yayılmış bir virüs gibi düşünebilirsiniz. O tamamen gördüğü içeriği taramaya ve Google verilerine raporlamaya programlanmıştır.

Bu botlar içeriğinizin farkına vardığında içerisindeki linkleri, resimleri; kalın, italik, altı çizili halde belirtilmiş kelimeleri ve “h” etiketiyle girilen başlıkları öncelikli okur. Daha sonra yazıyı ve varsa yorumları okur. Bunları analiz eder ve eğer kaliteli bir içerik ise arama motorlarında üst sıralarda olmamanız için hiçbir neden yoktur demek.Botların sitenizi ziyaret etme sıklığı sitenizin kalitesine bağlıdır.

Google botunun sitenize en son ne zaman geldiğini öğrenmek için Google arama motoruna şunu yazmanız yeterlidir:
cache:http://www.sitenizinlinki.com...


Sitenizin taranabilir olduğundan emin olma

Googlebot, siteleri, sayfadan sayfaya bağlantıları izleyerek keşfeder. Search Console’daki Tarama hataları sayfasında, Googlebot’un sitenizi tararken bulduğu sorunlar listelenir.

Sitenizle ilgili sorunları tanımlamak için düzenli olarak bu tarama hatalarını gözden geçirmenizi öneririm.


Googlebot’un sitenizdeki içeriğe erişmesini engelleme

Eğer bir sitenin webmaster`ı, sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robots.txtdosyasına uygun komutlar girerek bunu yapabilir. Siz robots.txt dosyanızı oluşturduktan sonra, Googlebot’un değişikliklerinizi keşfetmesinde küçük bir gecikme olabilir. Googlebot, robots.txt içinde engellediğiniz içeriği taramaya devam ediyorsa, robots.txt dosyasının doğru konumda olup olmadığını kontrol edin.

Dosyanın, sunucunun en üst dizininde olması gerekir (örneğin, www.example.com/robots.txt). Dosya bir alt dizine yerleştirilmişse, yapılan değişikliğin herhangi bir etkisi olmaz. Web sunucusu günlüğünüzdeki “dosya bulunamadı” hata iletilerini önlemek istiyorsanız, robots.txt adlı boş bir dosya oluşturabilirsiniz.

Googlebot’un sitenizin bir sayfasındaki hiçbir bağlantıyı izlememesini istiyorsanız, nofollow meta etiketini kullanabilirsiniz. Googlebot’un bağımsız bir bağlantıyı izlemesini önlemek için bağlantının kendisine rel=”nofollow” özelliğini ekleyin.


Google Bot Nasıl Çağırılır?

Google Bot çağırmak için öncelikle Google mail hesabınızla giriş yapmalı ve Google Webmaster Tools kullanıyor olmalısınız. Webmaster Tools’a girdikten sonra, gerekli botu göndermek istediğiniz sitenizi belirterek giriş yapmalısınız. Siteyi belirttikten sonra “Getir” yazan kısma tıklayarak sitenizi getirmelisiniz.

Google Bot, sitenizi getirdikten sonra “Başarılı” ifadesine yer veriyorsa, sitenizi indexlemek için çalışmalara başlamış demektir.Mobil kullanıcılar için de Google Bot çağırmanın mümkün olduğunu hatırlatmakta yarar var.

Google Bot çağırırken dikkat edilmesi gereken konu, webmaster tools kullanımı sırasında yanlış bir bilgi girmemek ve botu yanlış sayfaya yönlendirmemektir. Google Bot çağırımı sırasında sıkça karşılaşılan sorun, kelime kayması yaşanmasıdır.
Google Bot çağırılmadan önce sitenin getirilmesi sırasında, Google Bot, anahtar kelime ya da etiket gibi bir takım kelimeleri baz almakta ve bu da yanlış index yapılması sonucunu doğurmaktadır.

Bu sorunun önüne geçmek için Google Bot’un, ana sayfaya çağırılması, sorunların önüne geçmek için bir yol olabilir. Bunun dışında haber siteleri gibi sürekli anlık güncellemelerin yapılmadığı bir site için sürekli bot çağırmak da gereksiz olabilmektedir. Sürekli güncel ve canlı tutulması gereken siteler için günde bir kez Google Bot çağırabilir.

Search Console’daki Google Gibi Getir aracı, sitenizin Googlebot’a tam olarak nasıl göründüğünü anlamanıza yardımcı olur. Bu aracın, sitenizin içeriğiyle veya arama sonuçlarında keşfedilebilirliğiyle ilgili sorunları giderirken çok faydası dokunabilir.
Google Gibi Getir aracı, Google’ın sitenizdeki bir URL’yi nasıl taradığını ve oluşturduğunu test etmenize olanak verir.

Googlebot’un sitenizdeki bir sayfaya erişip erişemediğini, sayfayı nasıl oluşturduğunu ve Googlebot’un, sayfa kaynaklarından (resimler veya komut dosyaları gibi) herhangi birine erişiminin engellenip engellenmediğini öğrenmek üzere Google Gibi Getir aracını kullanabilirsiniz.

Bu araç tıpkı Google’ın normal tarama ve oluşturma işlemindeki gibi, tarama ve oluşturma işleminin simülasyonunu yapar ve sitenizdeki tarama hatalarını ayıklama konusunda yararlıdır.


Google botları içeriği üst sıralara nasıl taşır?

Google Arama motoru botu, veritabanında indexlenmiş bulunan yazılar içerisinde öncelikle konu içerisindeki bütünlüğü ele alır.

Yani sitenin hitap ettiği kitle-içerik uyumu, başlık-içerik uyumu, içerik-anahtar kelimeler uyumu; konu içerisindeki metin ile ilgili kalın, italik, altı çizili gösterilen kelimeler… gibi bunları sıralayabiliriz. Bunların sonucunda eğer iyi bir uyum çizgisi yakaladıysanız zaten başarı kaçınılmaz.

Googlebot’un iki sürümü vardır:

“Derinbot” (deepbot) ve “yenileyici bot” (fresh bot).
DEEPBOT

Deepbot Web’de bulunan bütün bağlantıları takip etmeye çalışır ve birçok sayfayı Google indeksleyicisine indirir. Bu işlemi ayda bir kez yapar ve tamamlar.

Freshbot

Freshbot web sayfalarındaki yenilenmiş içerikleri tarar. Sıklıkla yenilenen web sitelerini değişme sıklıklarınıa bağlı olarak tarar , değişikleri kontrol eder. Teoride freshbot günlük bir gazeteyi günde bir, haftalık bir dergiyi haftada bir ziyaret etmektedir.













aLinti...