Yapay zekâ botlarını kapatmak güvenlik önlemi değildir

Yapay zekâ şirketlerinin web'i taradığı haberleri yayıldıkça pek çok site sahibi aynı refleksi gösterdi: robots.txt dosyasına birkaç satır ekleyip "yapay zekâ botlarını" kapatmak. Bu karar çoğu zaman bir güvenlik önlemi olarak sunuluyor. Değil. robots.txt bir kilit değil, bir ricadır. Kurala uyanı uzak tutar, uymayanı durdurmaz.

Üstelik yanlış yazılmış bir satır, sitenizi yapay zekâ destekli aramalardan da silebilir. Bu yazıda robots.txt'nin gerçekte ne yaptığını, yapay zekâ botlarının neden tek bir grup olmadığını ve güvenlik için neye bakmak gerektiğini anlatıyoruz.

robots.txt ne yapar, ne yapamaz?

robots.txt, sitenin kök dizininde duran ve tarayıcılara hangi yolları taramamalarını söyleyen düz bir metin dosyasıdır. Kuralları uzun yıllar fiilî bir standart olarak uygulandı ve 2022'de IETF tarafından RFC 9309 olarak yayımlandı. Aynı belge, bu protokolün içerik güvenliği önlemlerinin yerine geçmediğini de açıkça yazar.

• Gönüllüdür: Kurallara uymak tarayıcının tercihidir. Tanınmış şirketlerin botları genellikle uyar; içerik kazıyıcılar ve saldırganlar uymaz.
• Herkese açıktır: Dosyayı herkes okuyabilir. Gizli kalmasını istediğiniz bir yolu buraya yazmak, onu ilan etmek demektir.
• Erişimi kapatmaz: Taranmasını istemediğiniz bir sayfa herkese açıksa herkese açık kalır. Adresini bilen herkes onu açabilir.

Yapay zekâ botları tek bir grup değildir

"Yapay zekâ botu" denince çoğu kişinin aklına tek bir şey gelir. Oysa büyük sağlayıcılar botlarını amaçlarına göre ayırıyor. Kabaca üç rol var:

• Model eğitimi için tarayanlar: İçeriği dil modellerinin eğitim verisine katmak için toplar. OpenAI'ın GPTBot'u bu gruba örnektir.
• Yapay zekâ aramaları için dizinleyenler: Bir soruya cevap üretirken kaynak gösterebilmek için siteleri dizine alır. OpenAI bu iş için OAI-SearchBot'u ayrı tutar.
• Kullanıcı adına sayfa açanlar: Bir kullanıcı sohbet sırasında belli bir sayfayı istediğinde o sayfayı o anda getirir. ChatGPT-User bu gruptadır.

Google'da durum farklıdır. Google-Extended ayrı bir tarayıcı değil, robots.txt'de kullanılan bir denetim adıdır. İçeriğinizin Gemini ve Vertex AI gibi üretken yapay zekâ ürünlerinde kullanılmasını sınırlar, Google aramasındaki yerinizi etkilemez. Arama sonuçlarındaki yapay zekâ özetleri ise normal arama tarayıcısının topladığı içerikle beslenir. Bot adları ve görevleri zamanla değişebilir. Karar vermeden önce her sağlayıcının güncel belgesine bakmak gerekir.

Bu ayrımın pratik sonucu şudur: Eğitim botunu kapatmak bir içerik tercihi olarak savunulabilir. Arama ve kullanıcı botlarını kapatmak ise yapay zekâ cevaplarında kaynak gösterilme şansınızı da kapatır. Seçim ne istediğinize göre yapılmalıdır; "hepsini kapat" bir strateji değildir.

robots.txt kime ne söylediğinizi belirler, kimin gerçekten içeri girdiğini değil.

Bot adı bir kimlik kanıtı değildir

Her tarayıcı kendini bir "user-agent" adıyla tanıtır. Bu ad, isteği gönderen tarafın yazdığı düz bir metindir ve herkes tarafından taklit edilebilir. Kötü niyetli bir tarayıcının kendini GPTBot ya da Googlebot diye tanıtması bir satırlık iştir.

Bu yüzden güvenlik duvarında ya da sunucu kurallarında bot adlarını "güvenilir" listesine eklemek tehlikelidir. Kuralı aşmak isteyen birinin o adı kullanması yeterlidir. Erişim kararı ada değil, doğrulanabilir kimliğe dayanmalıdır. Büyük sağlayıcıların çoğu botlarının kullandığı IP aralıklarını yayımlıyor ya da ters DNS ile doğrulama yolu sunuyor. Bir isteğin gerçekten o bottan gelip gelmediği bu bilgilerle sınanmalıdır.

Güvenlik için gerçekten bakılması gerekenler

1. Hassas alanları kapatınYönetim paneli, teklif dosyaları ve müşteri belgeleri parolayla ya da IP kısıtıyla korunmalıdır. Bu alanları robots.txt'ye yazmak onları korumaz, yalnızca adreslerini duyurur.
2. Hız sınırı koyunKim olduğu fark etmeksizin kısa sürede aşırı istek gönderen kaynakları yavaşlatın ya da durdurun. Sunucuyu yoran taramaya karşı en etkili önlem budur.
3. Kimliği doğrulayınKendini tanınmış bir bot gibi tanıtan trafiğe ayrıcalık tanımadan önce, isteğin sağlayıcının yayımladığı IP aralığından geldiğini ya da ters DNS kaydıyla eşleştiğini kontrol edin.
4. Kayıtları izleyinSunucu kayıtlarında olağandışı yolları tarayan, form ya da giriş sayfalarını zorlayan istekleri düzenli olarak gözden geçirin.
5. robots.txt'yi bilinçli yazınHangi botun hangi amaçla geldiğine göre görünürlük tercihinizi belirleyin. Sağlayıcılar yeni bot ekledikçe dosyayı da gözden geçirin.

robots.txt'nizin yapay zekâ botlarına ne söylediğini merak ediyorsanız Site Sağlık Raporu bu dosyayı ve llms.txt'yi diğer temel kontrollerle birlikte tarar. Yapay zekâ aramalarındaki görünürlüğü stratejinin bir parçası yapmak ise dijital pazarlama ve SEO çalışmasının konusudur.

Sitenizin yapay zekâ botlarına ve aramalara karşı duruşunu birlikte netleştirmek isterseniz bize ulaşın; görünürlükle güvenliği birbirine karıştırmayan bir düzen kuralım.