Tarama Bütçesi (Crawl Budget) Nedir? Neden Önemlidir?
Tarama Bütçesi(Crawl Budget), arama motoru robotlarının web sitelerini belirsiz zaman dilimlerinde tarama yaptığı sayfa sayısına denir. Bu nedenle kesinlikle çok dikkat edilmesi gereken ve yol haritanızda haftalık/aylık kontrollerini yapmanızı önerdiğimiz bir konudur.
Tarama Bütçesi Neden Önemlidir?
SEO çalışmalarınızda her web sitesi için farklı yol haritaları uygulanır. Ancak Tarama bütçesi(Crawl Budget) her yol haritasında bulunur, peki neden? Tarama bütçesi web sitenizin indexlerinin canlı olmasını ve yeni oluşturacağınız sayfaların index almasında önemlidir.
Sayfa Sayısı Çok Site Sahipleri İçin Tarama Bütçesi Önemi
Tarama bütçesi her kategoriden web sitesi için çok önemlidir. Ancak özellikle sayfa sayısı çok olan web siteleri için tarama bütçesi optimizasyonu çok kritik ve iş gücü anlamında çok zamanınızı alacak bir konudur. Bu nedenle ayrı olarak bahsetmek istedik. Bu tarafta en kolay çözüm ilk olarak sayfalarınızda kullanılan URL’lerin 301 yönlendirmesine ait URL’ler yerine direkt olarak yönlendiği son 200 OK statü kodlu URL kullanmanız gerekmektedir.
Tabii ki bu çözüm yöntemi sadece çok sayfalı site sahipleri için değil her web sitesi için kullanılabilir ancak bu yöntem sayfa sayısı çok olan web siteleri için en kolay yöntemlerden biridir.
Özetleyecek olursak; Sayfa sayısı çok site sahipleri için en kritik konulardan biri tarama bütçesidir. Sayfa sayısı çok olduğu için tarama havuzu çok büyük olacak ve herhangi bir negatif durum tarama bütçenizi negatif yönde etkileyecektir.
Tarama Bütçesinde Sınır Var Mıdır?
Tarama bütçesinde aslında bir sınır yoktur. Bu konuda Google “Site bir süre hızlı yanıt verirse sınır artar, yani tarama için daha fazla bağlantı kullanılabilir.” şeklinde belirtmektedir. Bu durumda web sitenizin sınırını direkt olarak oluşturulan sayfalara ulaşım ve sunucunuz belirlemektedir. Özellikle sunucunuzun anlık bağlantı sorunları tarama bütçenizi ciddi derecede olumsuz etkileyebilir. Bu nedenle LOG analizlerini kontrol etmenizde fayda olacaktır, bu sayede web sitenize gelen Googlebot sitenizi ziyaret ettiğinde herhangi bir 5xx hatası alıp almadığına rahatça bakılabilir.
Tabii bu konuda Google ne kadar güçlü olsada “bizlerinde bir sınırı vardır” şeklinde belirtmektedir. Bu nedenle kaynaklarınızı kesinlikle verimli kullanmalısınız.
Tarama Bütçesini Negatif Etkileyen Faktörler
Tarama bütçenizi etkileyecek çok fazla faktör bulunmaktadır. Bu faktörler arasında web sitenizde veya projenizde kontrol etmeniz gereken başlıklar;
Sayfa İçerisinde Kullanılan Yönlendirmeli URL’ler
Googlebot’u sitenizi ziyaret ettiğinde doğru URL’e ulaşmak ister. Bunu istemesindeki en büyük sebep aslında Google’ın “bizlerinde bir sınırı vardır” demesinden kaynaklı olmasıdır. Bu nedenle sayfalarınızın içerisinde doğrudan 200 OK statü kodlu URL kullanımı yapmalısınız.
Yenilenen İçerikler
Web sitenizde veya projenizde paylaştığınız içerikleri kesinlikle kontrol etmelisiniz. URL olarak farklı olsa dahi aynı içeriği veya var olan içeriğinizden bölümler ile farklı sayfalar oluşturmanız tarama bütçenizi negatif yönde etkileyecektir.
Kalıcı Kaldırdığınız Sayfalar
Özellikle e-ticaret sitelerinde(ürün sayfalarının kaldırılmasından dolayı) kalıcı olarak birden fazla sayfa kaldırılmaktadır. Bu sayfalar için index sorunu yaşanmaması için 301 yönlendirmesi yapılarak çözüm bulunur. Ancak sadece 301 yönlendirmesi yapmanız bu sayfaların artık taranmamasına neden olmayacaktır. Bu sayfaların Google tarafından index’i kaldırıldıktan sonra 410 statü koduna alınarak artık web siteniz tarafından kullanılmadığını kesinlikle belirtmelisiniz. Aksi takdirde Google yönlendirdiğiniz URL’leri Kapsam dışı taramaya devam edecektir ve bu durum genel tarama istatistiğini tamamen negatif etkilemektedir.
Site Haritası
Her kategoriden web sitenizin kesinlikle bir site haritası olmalıdır. Site haritası kullanımı özellikle az sayfaya ait web sitenizin doğru taranması konusunda sizlere avantaj sağlayacaktır. Bu nedenle site haritanızı güncel tutmanız eğer site haritanız bulunmuyor ise eklemeniz gerekmektedir.
Google Search Console Kontrolü
Web sitenizin veya projenizin tarama bütçesini en makul derecede kullanmak için kesinlikle kontrol etmeniz gereken araç; Google Search Console’dur. Google Search Console hesabınıza girdikten sonra Kapsam > Hariç Bırakıldı tablosunda bulunan hataların kesinlikle eritilmesi yönünde önerimiz bulunmakta. Bazı kritik hatalar;
Soft 404 sayfa hataları
Web sitenizde bazı 404 hatası veren sayfalarınız taranmaya devam etmekte ve bu nedenle soft 404 hatası almış olabilirsiniz. Bu sayfalarınızın taranmaması için 410 statü koduna almalısınız. Bu sayede artık bu URL’lerin artık taranmamasını Google’a bildirmiş olacağız.
Yönlendirilmeli Sayfa
Daha önceden kullandığınız ve artık yönlendirdiğiniz bu URL’leri Google taramaya devam etmektedir. Taramaya devam eden Google’ın artık bu sayfaları taramaması için öncelikle Google’da indexleri var mı yok mu kontrolünü yapmalı akabinde index bulunmuyor ise yönlendirilmeli sayfa sekmesinde bulunan URL’lerin 301 yönlendirmesini kaldırmalıyız ve 410 statü koduna çevirmeliyiz. Yaptığımız bu işlem ile yönlendirilen sayfaların artık taranmamasını Google’a bildiriyor olmuş olacağız.
Robots.txt Kontrolü
Google, web sitenize ulaştığında belirttiğiniz kurallar ile tarama yapmaktadır. Bu kuralları robots.txt dosyasında belirtiriz. Bu nedenle taranması gereken bazı sayfalarınızında taranmaması için hatalı bir kod eklemiş olabilirsiniz. Ek olarakta web sitenizde taranmaması gereken sayfaları robots.txt’den engellemediyseniz Google bu sayfaları taramaya devam edecektir ve tarama bütçesinde ekstra sayfa taranması meydana gelecektir ve bu tarama bütçenizi negatif etkileyecektir.
Sayfa Hızı
Sayfalarınızın hızı her konuda çok etkili olduğu gibi tarama bütçesinde de etkilidir. Bu nedenle sayfalarınızın hızını kesinlikle rakibinizden bağımsız web sitesi taranma statüsünde bulunduğuna dikkat etmelisiniz.
Sonuç
Web sitenizde veya projenizde tarama bütçenizi kesinlikle belirtmiş olduğumuz kriterleri kontrol ederek en makul seviyede tutmanız sitenizin taranma olarak güncelliğini en iyi seviyede tutmanız yönünde olacaktır.
