Log Analizi Nedir? Nasıl Yapılır?

Log analizi, dijital dünyanın perde arkasında olup bitenleri anlamak için elimizdeki en güçlü araçlardan biri. Web sitenizin ya da uygulamanızın arka planında neler yaşandığını, arama motoru botlarının sitenizi nasıl gezdiğini, kullanıcıların hangi sayfalarda takıldığını ya da hata aldığını görmek istiyorsanız, log analizi tam size göre. Kulağa teknik gelebilir ama işin özü, sitenizin günlüklerini okumak ve bu verilerden anlamlı sonuçlar çıkarmak. Bir nevi, sitenizin nabzını tutmak gibi düşünebilirsiniz.

Peki, log analizi nasıl yapılır? Öncelikle, sitenizin barındığı sunucudan log dosyalarını temin etmeniz gerekiyor. Genellikle .log ya da .txt uzantılı bu dosyalar, sunucunuzun kök dizininde veya hosting panelinizde yer alır. Dosyayı indirdikten sonra, işin asıl kısmı başlıyor. Log dosyası ham haliyle oldukça karmaşık görünebilir; satırlarca IP adresi, zaman damgası, istek türü, yanıt kodu ve daha fazlası… Burada devreye log analiz araçları giriyor. Screaming Frog Log File Analyser, Splunk, ELK Stack gibi araçlar sayesinde bu karmaşık verileri filtreleyebilir, görselleştirebilir ve anlamlandırabilirsiniz.

Uygulamada, örneğin bir SEO uzmanı olarak Googlebot’un sitenizi ne sıklıkla ziyaret ettiğini, hangi sayfalarda daha çok vakit geçirdiğini ya da hangi sayfalarda hata aldığını log analiziyle kolayca görebilirsiniz. Hatta, sitenizdeki bir sayfanın neden indekslenmediğini anlamak için log kayıtlarını incelemek çoğu zaman kafa karışıklığını ortadan kaldırır. Log analizi, sadece teknik SEO için değil, güvenlik, performans ve kullanıcı deneyimi açısından da paha biçilmez bir kaynak. 

Log Dosyası Nedir?

Log dosyası, web sitenizin ya da uygulamanızın arka planda tuttuğu bir günlük defteri gibi. Her ziyaretçi, her bot, her istek ve her hata bu deftere bir satır olarak kaydediliyor. Sunucuya gelen her talep, log dosyasına işleniyor; bu ister bir kullanıcının ana sayfanızı ziyaret etmesi olsun, ister bir arama motoru botunun sitenizi taraması, isterse bir görselin yüklenmesi… Hepsi log dosyasında iz bırakıyor.

Bu dosyalar genellikle düz metin formatında olur ve her satırda bir olay kaydı yer alır. Örneğin, bir ziyaretçinin IP adresi, hangi sayfayı istediği, bu isteğin ne zaman gerçekleştiği, sunucunun verdiği yanıt kodu (örneğin 200, 404, 301 gibi), kullanılan tarayıcı bilgisi ve daha fazlası… Log dosyası, sitenizin trafik haritasını çıkarmak için elinizdeki en ham ve güvenilir veri kaynağıdır. Özellikle teknik analizlerde, SEO çalışmalarında ya da güvenlik incelemelerinde log dosyası vazgeçilmezdir.

Bir örnekle açıklamak gerekirse, log dosyasındaki bir satır şöyle görünmekte.

66.249.66.1 – – [14/May/2025:10:15:32 +0300] “GET /hakkimizda HTTP/1.1” 200 5321 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”  

Burada, Googlebot’un hangi sayfayı, ne zaman ve hangi tarayıcıyla ziyaret ettiğini, sunucunun bu isteğe nasıl yanıt verdiğini görebiliyoruz. Log dosyası, bu tür binlerce satırdan oluşur ve doğru analiz edildiğinde sitenizin gerçek hikayesini anlatır.

Log Dosyası Hangi Verilere Sahiptir?

Log dosyası, adeta bir veri madeni. İçinde neler mi var? Her satır, bir olayın detaylı kaydı. Şimdi, log dosyasında hangi verilerle karşılaşacağınızı daha yakından inceleyelim:

• IP Adresi: Ziyaretçinin ya da botun hangi IP’den geldiğini gösterir. Bu sayede, trafiğin kaynağını analiz edebilirsiniz.
• Zaman Damgası: Her isteğin tam olarak ne zaman gerçekleştiğini belirtir. Trafik yoğunluğunu ve botların ziyaret saatlerini anlamak için birebir.
• İstek Türü (Request Method): GET, POST gibi hangi türde bir isteğin yapıldığını gösterir. Genellikle sayfa görüntülemeleri GET ile olur.
• İstenen Kaynak (URL): Hangi sayfanın ya da dosyanın talep edildiğini gösterir. Hangi içeriklerin daha çok ilgi gördüğünü ya da hangi sayfaların hata verdiğini buradan takip edebilirsiniz.
• HTTP Durum Kodu: Sunucunun isteğe verdiği yanıtı gösterir. 200 başarılı, 404 bulunamadı, 301 yönlendirme gibi kodlar burada yer alır. Özellikle 404 hatalarını tespit etmek için bu alan çok işinize yarar.
• Kullanıcı Aracısı (User Agent): Ziyaretçinin ya da botun hangi tarayıcı veya cihazla geldiğini gösterir. Googlebot, Bingbot, Chrome, Safari gibi bilgiler burada saklıdır.
• Yönlendiren (Referrer): Ziyaretçinin hangi sayfadan geldiğini gösterir. Özellikle dış bağlantıların ve iç linklerin performansını analiz etmek için kullanılır.
• Veri Boyutu: Sunucunun yanıt olarak ne kadar veri gönderdiğini gösterir. Büyük dosyalar ya da yavaş yüklenen sayfalar için ipucu verir.

Log dosyasındaki bu veriler, doğru analiz edildiğinde sitenizin performansını, güvenliğini ve SEO sağlığını artırmak için paha biçilmez bilgiler sunar. Mesela, Googlebot’un sitenizde hangi sayfaları taradığını, hangi sayfalarda hata aldığını ya da hangi saatlerde daha aktif olduğunu bu veriler sayesinde görebilirsiniz. Hatta, şüpheli IP’leri tespit edip güvenlik önlemleri almak da mümkün.

Tarama Bütçesi Nedir?

Tarama bütçesi, arama motorlarının sitenizi ne kadar sıklıkla ve hangi derinlikte tarayacağına karar verirken kullandığı bir kavram. Google gibi arama motorları, her siteye sınırsız kaynak ayıramaz; bu yüzden her site için bir “tarama limiti” belirler. Yani, sitenizin her gün kaç sayfasının taranacağı, hangi sayfaların öncelikli olacağı ve botların ne kadar süre harcayacağı bu bütçeyle doğrudan bağlantılı. Eğer siteniz büyükse, binlerce sayfanız varsa ya da sık sık güncellenen içerikleriniz bulunuyorsa, tarama bütçesi sizin için daha da kritik hale gelir.

Tarama bütçesini etkileyen birçok faktör var. Sitenizin hızı, sunucu yanıt süresi, hata sayfalarının fazlalığı, yönlendirmeler, kopya içerikler ve gereksiz parametreli URL’ler… Bunların hepsi, arama motoru botlarının sitenizde daha az veya daha çok vakit geçirmesine sebep olabilir. Mesela, yavaş açılan bir siteye Googlebot fazla zaman ayırmak istemez; çünkü kaynaklarını verimli kullanmak zorunda. Aynı şekilde, sürekli 404 hatasıyla karşılaşan bir bot, bir süre sonra sitenizi daha az ziyaret etmeye başlar.

Tarama bütçesini optimize etmek için log analizi yapmak şart. Log dosyalarını incelediğinizde, Googlebot’un hangi sayfalarda zaman harcadığını, hangi sayfalarda hata aldığını ve hangi içeriklerin hiç ziyaret edilmediğini görebilirsiniz. Gereksiz yönlendirmeleri, bozuk linkleri ve botların takıldığı noktaları tespit edip düzelttiğinizde, arama motorlarının sitenizi daha verimli taramasını sağlarsınız. Sonuç? Yeni içerikleriniz daha hızlı indekslenir, eski içerikleriniz güncellendiğinde arama motorları bunu daha çabuk fark eder. 

Log Analizi Neden Önemlidir?

Log analizi, dijital dünyada gözden kaçan detayları yakalamanın en pratik yollarından biri. Sitenizin arka planında neler olup bittiğini, arama motoru botlarının hangi sayfalarda gezindiğini, kullanıcıların hangi sayfalarda hata aldığını ya da hangi içeriklerin hiç ziyaret edilmediğini anlamak için log analizi yapmak şart. Sadece SEO için değil, güvenlik ve performans açısından da log analizi paha biçilmez bir kaynak sunar.

Birçok site sahibi, Google Search Console veya benzeri araçlarla yetinip, sitenin gerçek trafiğini ve bot davranışlarını gözden kaçırabiliyor. Oysa log dosyaları, arama motoru botlarının sitenize hangi sıklıkta geldiğini, hangi sayfalarda takıldığını ve hangi hatalarla karşılaştığını satır satır gösterir. Mesela, bir sayfanızın neden indekslenmediğini mi merak ediyorsunuz? Log analiziyle, Googlebot’un o sayfayı hiç ziyaret edip etmediğini, ziyaret ettiyse hangi yanıt kodunu aldığını anında görebilirsiniz.

Güvenlik tarafında da log analizi büyük avantaj sağlar. Şüpheli IP’lerden gelen istekleri, DDoS saldırılarını ya da bot trafiğindeki anormallikleri tespit etmek için log dosyalarını incelemek gerekir. Ayrıca, sitenizin performansını artırmak için hangi sayfaların yavaş yüklendiğini, hangi dosyaların gereksiz yere çağrıldığını da log analiziyle ortaya çıkarabilirsiniz. 

SEO’da Log Dosyası Analizi Ne İçin Kullanılır?

SEO dünyasında log dosyası analizi, işin mutfağında olup biteni anlamak için vazgeçilmez bir araç. Sitenizin arama motorları tarafından nasıl tarandığını, hangi sayfaların öncelikli olduğunu, hangi içeriklerin gözden kaçtığını ya da hangi teknik sorunların arama motoru botlarını engellediğini anlamak için log analizi yapmak gerekir. Sadece teorik bilgiyle ya da SEO araçlarının sunduğu özet raporlarla yetinmek, çoğu zaman eksik ya da yanlış kararlar almanıza sebep olabilir.

Log dosyası analiziyle, Googlebot’un sitenizde hangi sayfaları ne sıklıkla ziyaret ettiğini, hangi sayfalarda hata aldığını, hangi içeriklerin hiç taranmadığını görebilirsiniz. Mesela, yeni eklediğiniz bir sayfa arama sonuçlarında bir türlü görünmüyorsa, log dosyasına bakarak Googlebot’un o sayfayı ziyaret edip etmediğini kontrol edebilirsiniz. Eğer bot o sayfaya hiç uğramamışsa, iç linklemeyi güçlendirmek ya da site haritasını güncellemek gerekebilir. Ya da, sık sık 404 hatası alan sayfalarınız varsa, log analiziyle bu sayfaları tespit edip hızlıca düzeltebilirsiniz.

SEO’da log analiziyle elde edebileceğiniz bazı pratik bilgiler şunlar:

• Googlebot ve diğer arama motoru botlarının ziyaret sıklığı ve davranışları
• Hangi sayfaların daha fazla tarandığı, hangilerinin gözden kaçtığı
• 404, 500 gibi hata kodlarının hangi sayfalarda yoğunlaştığı
• Yönlendirme zincirleri ve gereksiz yönlendirmeler
• Botların takıldığı, yavaş açılan ya da erişilemeyen sayfalar

Bu analizler sayesinde, sitenizin teknik SEO’sunu güçlendirebilir, tarama bütçesini daha verimli kullanabilir ve arama motorlarında daha iyi sıralamalar elde edebilirsiniz. 

Screaming Frog Log Analyser ile Log Analizi Nasıl Yapılır?

Screaming Frog Log Analyser, log dosyalarını anlamlandırmak ve SEO açısından kritik verileri ortaya çıkarmak için kullandığım en pratik araçlardan biri. Özellikle teknik SEO ile ilgilenenler için, arama motoru botlarının sitenizdeki hareketlerini adım adım gözlemlemek ve sorunları tespit etmek açısından büyük kolaylık sağlıyor. Şimdi, bu aracı kullanarak log analizi nasıl yapılır, uygulamalı olarak anlatacağım.

1- Log Dosyalarına Erişim

İlk adım, analiz edeceğiniz log dosyalarına ulaşmak. Çoğu zaman, bu dosyalar sunucunuzun kök dizininde veya hosting panelinizde yer alır. Eğer bir ajans ya da büyük bir firma ile çalışıyorsanız, IT ekibinden veya sunucu yöneticinizden log dosyalarını talep etmeniz gerekebilir. Dosyalar genellikle .log ya da .txt formatında olur ve boyutları büyük olabilir. Dosyayı bilgisayarınıza indirdikten sonra, Screaming Frog Log Analyser’ı açıp “Import Log File” seçeneğiyle dosyanızı programa yüklüyorsunuz. Yükleme işlemi tamamlandığında, binlerce satırdan oluşan ham veriler artık analiz edilmeye hazır.

Burada dikkat edilmesi gereken bir nokta var: Eğer log dosyanız çok büyükse, analiz süresi uzayabilir. Bu yüzden, sadece belirli bir tarih aralığını veya belirli bir botu analiz etmek istiyorsanız, dosyayı önceden filtreleyebilirsiniz. Böylece gereksiz veriyle uğraşmak zorunda kalmazsınız.

2- User-Agents (Arama motoru botlarının seçilmesi)

Log dosyası yüklendikten sonra, işin en keyifli kısmı başlıyor: Hangi arama motoru botunu analiz edeceğinizi seçmek. Screaming Frog Log Analyser, log dosyasındaki tüm user-agent’ları otomatik olarak tanır ve listeler. Burada Googlebot, Bingbot, YandexBot gibi popüler arama motoru botlarını kolayca görebilirsiniz. Hangi botun sitenizde nasıl davrandığını, hangi sayfaları ne sıklıkla ziyaret ettiğini ya da hangi sayfalarda hata aldığını görmek için ilgili user-agent’ı seçmeniz yeterli.

Örneğin, sadece Googlebot’un hareketlerini incelemek istiyorsanız, filtrelerden Googlebot’u seçip analizlerinizi bu bot üzerinden yapabilirsiniz. Bu sayede, gereksiz verilerle uğraşmadan, doğrudan arama motoru botlarının davranışlarını analiz edebilirsiniz. Özellikle büyük sitelerde, farklı botların davranışlarını ayrı ayrı incelemek, tarama bütçesini ve teknik SEO sorunlarını tespit etmek açısından büyük avantaj sağlar.

3- Verify Bots (Botların doğrulanması)

Log analizinde en sık karşılaşılan sorunlardan biri, gerçek arama motoru botları ile sahte botları ayırt edememek. Çünkü bazı spam botlar, kendilerini Googlebot veya Bingbot gibi tanıtarak sitenize erişmeye çalışabilir. Screaming Frog Log Analyser’ın en sevdiğim özelliklerinden biri de “Verify Bots” yani bot doğrulama özelliği. Bu özellik sayesinde, log dosyanızdaki botların gerçekten arama motoruna ait olup olmadığını kolayca kontrol edebilirsiniz.

Nasıl çalışıyor? Program, botun IP adresini arama motorunun resmi IP aralıklarıyla karşılaştırıyor. Eğer IP adresi gerçekten Google’a aitse, bot doğrulanmış olarak işaretleniyor. Böylece, analizlerinizi sadece gerçek arama motoru botları üzerinden yapabiliyorsunuz. Bu adım, özellikle güvenlik ve doğru analiz açısından kritik öneme sahip. Çünkü sahte botlar, analizlerinizi yanıltabilir ve yanlış kararlar almanıza sebep olabilir.

4- Include & Exclude (Belirli URL’lerin Dahil Edilmesi veya Çıkarılması)

Screaming Frog Log Analyser’da analiz yaparken, her zaman tüm log dosyasını incelemek gerekmiyor. Bazen sadece belirli bir dizini, bir ürün grubunu ya da kampanya sayfalarını analiz etmek isteyebilirsiniz. İşte burada “Include” ve “Exclude” filtreleri devreye giriyor. Include filtresiyle, sadece belirlediğiniz URL’leri veya URL desenlerini analiz kapsamına alabilirsiniz. Örneğin, sadece /blog/ dizinindeki hareketleri görmek istiyorsanız, bu dizini include olarak eklemeniz yeterli. Exclude ise tam tersi; belirli URL’leri veya parametreleri analizden hariç tutmak için kullanılır. Mesela, /admin/ ya da /test/ gibi arka plan sayfalarını analiz dışında bırakmak, gereksiz veriyle uğraşmamanızı sağlar.

Bu filtreler, büyük sitelerde analiz sürecini hem hızlandırır hem de odaklanmak istediğiniz alanlarda daha net sonuçlar elde etmenizi sağlar. Özellikle kampanya dönemlerinde, sadece ilgili sayfaların botlar tarafından nasıl tarandığını görmek için bu özellik hayat kurtarıcıdır.

5- Remove Parameters

Log dosyalarında, özellikle e-ticaret ve büyük içerik sitelerinde, URL’lerin sonuna eklenen parametreler (örneğin, ?utm_source=, ?sessionid= gibi) analizleri karmaşıklaştırabilir. Screaming Frog Log Analyser’ın “Remove Parameters” özelliği, bu tür parametreleri otomatik olarak temizleyerek aynı sayfanın farklı parametrelerle tekrar tekrar analiz edilmesini engeller. Böylece, gerçek sayfa trafiğini ve bot davranışını daha net görebilirsiniz.

Bu özellik, özellikle tarama bütçesini doğru analiz etmek ve gereksiz tekrarları önlemek için çok önemli. Çünkü arama motoru botları, parametreli URL’leri de ayrı birer sayfa gibi görebilir ve tarama bütçesini boşa harcayabilir. Parametreleri temizleyerek, hangi sayfaların gerçekten önemli olduğunu ve botların asıl hangi içeriklere odaklandığını kolayca tespit edebilirsiniz.

6- Log Dosyalarının İçerik Aktarılması

Log analizi sürecinin en temel adımlarından biri, log dosyalarını Screaming Frog Log Analyser’a doğru şekilde aktarmak. Programı açtıktan sonra, “Import Log File” veya “Drag & Drop” özelliğiyle log dosyanızı kolayca yükleyebilirsiniz. Birden fazla log dosyanız varsa, hepsini aynı anda içe aktarabilir ve toplu analiz yapabilirsiniz. Özellikle büyük sitelerde, farklı tarih aralıklarına ait log dosyalarını birleştirerek daha kapsamlı bir analiz yapmak mümkün.

Aktarım sırasında, program dosyadaki verileri otomatik olarak işler ve analiz için hazır hale getirir. Eğer dosyada bir hata ya da eksik satır varsa, Screaming Frog bunu size bildirir. Böylece, analiz öncesinde veri bütünlüğünü kontrol etme şansınız olur. Doğru ve eksiksiz bir aktarım, analiz sonuçlarının güvenilirliği açısından kritik öneme sahip.

7- Overview (Günlük, Haftalık veya Aylık Taranan URL’lerin İncelenmesi)

Log dosyalarını yükledikten sonra, Screaming Frog Log Analyser’ın “Overview” bölümüyle sitenizin tarama dinamiklerini zamana yayılmış şekilde görebilirsiniz. Burada, günlük, haftalık veya aylık olarak hangi URL’lerin ne sıklıkta tarandığını, hangi sayfaların daha fazla ilgi gördüğünü ya da hangi dönemlerde botların sitenize daha yoğun geldiğini analiz edebilirsiniz.

Bu bölüm, özellikle yeni içeriklerin ne kadar sürede tarandığını, güncellenen sayfaların botlar tarafından ne zaman tekrar ziyaret edildiğini ve sezonluk dalgalanmaları anlamak için çok değerli. Mesela, bir kampanya sayfası eklediniz ve Googlebot’un bu sayfayı ne zaman fark ettiğini merak ediyorsunuz. Overview sayesinde, ilgili URL’nin ilk ve son taranma tarihlerini, toplam tarama sayısını ve hata kodlarını tek ekranda görebilirsiniz.

8- User Agent İsteklerinin İncelenmesi

Screaming Frog Log Analyser’da log dosyasını yükledikten sonra, “User Agent” sekmesiyle arama motoru botlarının ve diğer kullanıcı ajanlarının sitenize yaptığı tüm istekleri detaylıca görebilirsiniz. Burada, Googlebot, Bingbot, YandexBot gibi arama motoru botlarının yanı sıra, farklı tarayıcılar ve uygulama botları da listelenir. Her bir user agent’ın hangi sayfalara, ne zaman ve ne sıklıkta eriştiğini analiz etmek, sitenizin arama motorları tarafından nasıl algılandığını anlamak için çok değerli.

Örneğin, Googlebot’un sitenizde hangi sayfalara yoğunlaştığını, Bingbot’un ise hangi bölümlere daha az ilgi gösterdiğini bu sekmeden kolayca tespit edebilirsiniz. Ayrıca, şüpheli veya istenmeyen botların hareketlerini de burada görebilir, gerekirse bu botları engellemek için sunucu tarafında önlem alabilirsiniz. User agent isteklerini analiz etmek, tarama bütçesini optimize etmek ve gereksiz bot trafiğini azaltmak için pratik bir yol sunar.

9- URLs (İstek Sayılarının İncelenmesi)

Log analizinde en çok merak edilen konulardan biri de, sitenizdeki hangi URL’lerin ne kadar sıklıkla tarandığıdır. Screaming Frog Log Analyser’ın “URLs” bölümü, her bir sayfanın kaç kez istek aldığını, hangi botların bu isteği yaptığına kadar detaylı bir tablo sunar. Bu sayede, hangi içeriklerin arama motorları tarafından daha çok ilgi gördüğünü, hangilerinin ise gözden kaçtığını net bir şekilde görebilirsiniz.

9.1- Num Events (İstek Sayılarının İncelenmesi)

Num Events, her bir URL’nin toplamda kaç kez istek aldığını gösterir. Yani, bir sayfanın bir gün içinde kaç defa botlar tarafından ziyaret edildiğini veya bir hafta boyunca toplamda kaç kez tarandığını bu alandan takip edebilirsiniz. Özellikle yeni eklenen ya da güncellenen sayfaların arama motorları tarafından ne kadar hızlı fark edildiğini anlamak için bu veri çok işe yarar. Eğer önemli bir sayfanız beklediğiniz kadar sık taranmıyorsa, iç linklemeyi güçlendirmek veya site haritasını güncellemek gerekebilir.

9.2- All Bot (Botların Tarama Sıklığının İncelenmesi)

All Bot bölümü, sitenize gelen tüm botların toplam tarama sıklığını ve davranışlarını analiz etmenizi sağlar. Burada, Googlebot, Bingbot, YandexBot gibi farklı arama motoru botlarının her bir URL’ye yaptığı toplam istek sayısını görebilirsiniz. Bu analiz, hangi botun sitenize daha fazla ilgi gösterdiğini, hangi sayfaların farklı botlar tarafından ne kadar tarandığını ve tarama bütçesinin nasıl dağıldığını anlamak için birebir.

Örneğin, bir ürün sayfanız Googlebot tarafından sık sık ziyaret ediliyorsa, bu sayfanın arama sonuçlarında daha hızlı güncelleneceğini düşünebilirsiniz. Ancak, aynı sayfa Bingbot tarafından neredeyse hiç ziyaret edilmiyorsa, Bing arama sonuçlarında güncellenme süresi uzayabilir. All Bot verileriyle, farklı arama motorlarının sitenize yaklaşımını karşılaştırabilir ve teknik SEO stratejinizi buna göre şekillendirebilirsiniz.

9.3- Average Bytes (Yüksek Boyutlu Kaynakların Tespiti)

Log analizinde gözden kaçan ama performans açısından kritik bir detay var: Sayfa ve dosya boyutları. Screaming Frog Log Analyser’ın “Average Bytes” metriği, her bir URL’ye yapılan isteklerde ortalama ne kadar veri transfer edildiğini gösteriyor. Yani, bir sayfanın ya da dosyanın botlar tarafından her ziyaretinde sunucudan çıkan veri miktarını burada görebilirsiniz. Eğer bir sayfanın ortalama byte değeri yüksekse, bu genellikle büyük görseller, ağır JavaScript dosyaları veya optimize edilmemiş medya içerikleriyle ilgilidir.

Yüksek boyutlu kaynaklar, hem kullanıcı deneyimini hem de arama motoru botlarının tarama verimliliğini olumsuz etkiler. Googlebot, yavaş yüklenen veya büyük dosyalara sahip sayfalarda daha az vakit harcamak ister. Bu yüzden, Average Bytes değerleri yüksek olan sayfaları tespit edip, görselleri sıkıştırmak, gereksiz scriptleri kaldırmak ya da dosya boyutlarını küçültmek, hem SEO hem de genel site performansı için büyük fark yaratır. 

9.4- Images, HTML, CSS vs. (Dosya Türüne Göre Tarama Sıklığı)

Sitenizde sadece HTML sayfalar değil, görseller, stil dosyaları (CSS), JavaScript dosyaları ve diğer medya türleri de arama motoru botları tarafından taranır. Screaming Frog Log Analyser, log dosyasındaki istekleri dosya türüne göre ayırarak hangi tür içeriklerin ne sıklıkta tarandığını gösterir. Örneğin, Googlebot-Image’ın görsellerinizi ne kadar ziyaret ettiğini, CSS ve JS dosyalarınızın botlar tarafından ne kadar çağrıldığını bu bölümde görebilirsiniz.

Bu analiz, özellikle görsel SEO ve site hızını optimize etmek isteyenler için çok değerli. Eğer bir görsel sürekli olarak botlar tarafından taranıyorsa, bu görselin arama sonuçlarında daha görünür olma ihtimali artar. Aynı şekilde, gereksiz yere sık taranan CSS veya JS dosyaları, tarama bütçesini boşa harcayabilir. Dosya türüne göre tarama sıklığını analiz ederek, hangi içeriklerin öncelikli olduğunu, hangilerinin ise optimize edilmesi gerektiğini kolayca tespit edebilirsiniz.

10- Response Codes (Tarama Hataları Kontrolleri)

Log analizinin en pratik faydalarından biri de, arama motoru botlarının sitenizde karşılaştığı yanıt kodlarını (response codes) detaylıca görebilmeniz. Screaming Frog Log Analyser, her bir isteğin sonucunda sunucunun verdiği yanıt kodunu listeler: 200 (başarılı), 301/302 (yönlendirme), 404 (bulunamadı), 500 (sunucu hatası) gibi. Bu kodlar, sitenizin teknik sağlığı hakkında doğrudan bilgi verir.

Özellikle 404 ve 500 gibi hata kodları, hem kullanıcılar hem de arama motoru botları için ciddi bir sorun kaynağıdır. Sık sık 404 hatası alan bir sayfa, arama motorları tarafından zamanla önemsiz görülmeye başlar ve sıralamalarda geriye düşer. Yönlendirme zincirleri (301-302) ise botların gereksiz yere vakit kaybetmesine neden olur. Log analizinde bu kodları tespit edip, hatalı veya gereksiz yönlendirmeleri düzeltmek, SEO performansınızı doğrudan etkiler.

Ayrıca, hangi sayfaların en çok hata verdiğini, hangi botların bu hatalarla karşılaştığını ve hata oranlarının zaman içindeki değişimini de bu bölümden takip edebilirsiniz. Böylece, teknik sorunları hızlıca tespit edip, arama motoru botlarının sitenizi daha verimli taramasını sağlayabilirsiniz. Tarama hatalarını düzenli olarak kontrol etmek, sitenizin arama motorlarındaki sağlığını korumak için vazgeçilmez bir adımdır.

10.1 200 Durum Kodu URL Path’lerinin İncelenmesi

200 durum kodu, bir isteğin başarıyla tamamlandığını gösterir. Yani, arama motoru botları ya da kullanıcılar bir sayfayı ziyaret ettiğinde sunucu bu kodu döndürüyorsa, o sayfa sorunsuzca yüklenmiş demektir. Screaming Frog Log Analyser’da 200 kodu alan URL path’lerini incelemek, sitenizin hangi bölümlerinin sağlıklı çalıştığını ve botlar tarafından sorunsuzca tarandığını anlamak için birebir. Özellikle yeni eklenen içeriklerin ya da güncellenen sayfaların 200 kodu ile yanıt verip vermediğini kontrol etmek, indekslenme sürecini hızlandırmak açısından önemli.

Bu analiz sırasında, 200 kodu alan URL’lerin listesini çıkarıp, hangi sayfaların daha sık ziyaret edildiğini, hangi içeriklerin botlar tarafından önceliklendirildiğini görebilirsiniz. Eğer önemli bir sayfanız 200 kodu ile yanıt veriyorsa ve sık sık taranıyorsa, arama motorlarında güncel kalma şansı da artar. Ancak, 200 kodu alan ama hiç trafik almayan sayfalarınız varsa, bu içeriklerin iç linklemelerini güçlendirmek ya da daha görünür hale getirmek için strateji geliştirebilirsiniz. 

11- Directories (Directory/Subfolder Kontrolleri)

Büyük ve çok katmanlı sitelerde, dizin (directory) ve alt klasör (subfolder) yapısının nasıl tarandığını bilmek, SEO açısından büyük avantaj sağlar. Screaming Frog Log Analyser’ın “Directories” bölümü, sitenizin hangi klasörlerinin ya da alt dizinlerinin arama motoru botları tarafından ne sıklıkta ziyaret edildiğini gösterir. Örneğin, /blog/, /urunler/, /kampanyalar/ gibi ana dizinlerin ve bunların alt klasörlerinin tarama yoğunluğunu bu bölümde kolayca görebilirsiniz.

Bu analiz, hangi bölümlerin arama motorları için daha değerli olduğunu, hangi dizinlerin ise gözden kaçtığını anlamanızı sağlar. Eğer önemli bir alt klasör yeterince taranmıyorsa, site haritasını güncellemek, iç linklemeyi artırmak veya robots.txt dosyanızı gözden geçirmek gerekebilir. Ayrıca, gereksiz ya da eski dizinlerin botlar tarafından gereksiz yere taranmasını önlemek için de bu verilerden faydalanabilirsiniz. Dizin bazında yapılan bu kontroller, sitenizin genel SEO stratejisini şekillendirmek ve tarama bütçesini daha verimli kullanmak için oldukça etkili.

12- Sunucu İsteğinin İncelenmesi

Log analizi yaparken, sadece botların ve kullanıcıların hareketlerini değil, sunucunun bu isteklere nasıl yanıt verdiğini de incelemek gerekir. Sunucu isteği analizi, her bir isteğin sunucuya nasıl ulaştığını, sunucunun ne kadar sürede yanıt verdiğini ve olası darboğazları ortaya çıkarır. Screaming Frog Log Analyser’da, her isteğin zaman damgası, yanıt süresi ve sunucu yükü gibi detayları görebilirsiniz.

Bu analiz, özellikle site hızını ve performansını artırmak isteyenler için çok değerli. Yavaş yanıt veren sayfalar, hem kullanıcı deneyimini hem de arama motoru botlarının tarama verimliliğini olumsuz etkiler. Eğer belirli bir saat aralığında sunucu yanıt süreleri artıyorsa, bu durum sunucu kapasitesinin yetersizliğine ya da yoğun trafiğe işaret edebilir. Ayrıca, sık sık hata kodu döndüren istekler, sunucu tarafında teknik bir sorun olduğunun göstergesidir.

Sunucu isteği analizini düzenli olarak yapmak, sitenizin teknik altyapısını güçlendirmek ve arama motoru botlarının sitenizi daha verimli taramasını sağlamak için kritik öneme sahip. Gerektiğinde, sunucu optimizasyonu, CDN kullanımı veya önbellekleme gibi teknik iyileştirmelerle bu sorunların önüne geçebilirsiniz.

Analiz Edebileceğiniz Diğer Araçlar

Log analizi için Screaming Frog Log Analyser çoğu zaman işinizi fazlasıyla görür, ancak farklı ihtiyaçlar ve daha derin analizler için başka araçlara da göz atmakta fayda var. Özellikle büyük ölçekli sitelerde, veri hacmi arttıkça daha gelişmiş ve otomasyon dostu çözümler öne çıkıyor. İşte sektörde sıkça tercih edilen bazı log analiz araçları:

• ELK Stack (Elasticsearch, Logstash, Kibana): Büyük veriyle uğraşanlar için adeta bir İsviçre çakısı. Logstash ile logları toplar, Elasticsearch ile arar ve filtrelersiniz, Kibana ile de verileri görselleştirirsiniz. Özellikle gerçek zamanlı analiz ve dashboard oluşturmak isteyenler için biçilmiş kaftan.
• Splunk: Kurumsal düzeyde log yönetimi ve analitiği sunar. Otomatik uyarılar, gelişmiş arama ve raporlama özellikleriyle öne çıkar. Güvenlik, performans ve SEO için detaylı analizler yapmak mümkün.
• AWStats ve Webalizer: Daha basit ve hızlı çözümler arayanlar için klasikleşmiş araçlar. Temel trafik ve bot analizi için yeterli olabilir.
• GoAccess: Komut satırı üzerinden çalışan, hızlı ve interaktif bir log analiz aracı. Özellikle Linux sunucularda pratiklik arayanlar için ideal.
• Loggly, Graylog, Datadog: Bulut tabanlı log yönetimi ve analitiği sunan modern çözümler. Otomatik analiz, uyarı ve entegrasyon seçenekleriyle öne çıkarlar.
• SEMrush Log File Analyzer: Kullanımı kolay arayüzüyle öne çıkan, SEO odaklı bir log analiz aracı. Log dosyalarını yükledikten sonra, arama motoru botlarının sitenizdeki hareketlerini, tarama hatalarını ve tarama bütçesiyle ilgili kritik verileri hızlıca analiz edebilirsiniz. 

Her aracın kendine özgü avantajları ve kullanım alanları var. Seçim yaparken, sitenizin büyüklüğünü, analiz ihtiyacınızı ve teknik altyapınızı göz önünde bulundurmak önemli. Kimi zaman birden fazla aracı entegre kullanmak, daha kapsamlı ve esnek analizler yapmanızı sağlar.