Anthropic'ten 5 milyon dolarlık araştırma: AI sohbetlerinin insan üzerindeki etkisi ölçülecek

Anthropic, 25 Ağustos 2026'da AI sistemlerinin kullanıcıların iyi oluşunu nasıl etkilediğini araştırmak için 5 milyon dolarlık hibe programı açıkladı. Program, bağımsız ekiplerin açık kaynak değerlendirmeler geliştirmesini destekliyor. Finansmana ek olarak model erişimi ve teknik destek sunulması planlanıyor; bu duyuru belirli bir sohbet ürününün etkisinin kanıtlandığını söylemiyor.

Şirketin açıklaması, uzun konuşmalarda bağlamın değişebildiğini ve bir yanıtın uygunluğunun önceki mesajlara bağlı olduğunu vurguluyor. Aynı cümle farklı durumlarda farklı etki yaratabilir. Bu nedenle yalnızca tek soruya verilen cevabı puanlayan testlerin, insanın zaman içinde AI ile kurduğu ilişkiyi yeterince temsil etmeyebileceği belirtiliyor.

Anthropic'in kişisel yönlendirme araştırması da insanların Claude'a ilişkilerden kariyer kararlarına kadar farklı konularda başvurduğunu gösteren destekleyici bağlam sağlıyor. Hibe programının değerlendirme rehberi ise zarar yaratabilecek uyum ile gereksiz reddetmenin birlikte ölçülmesini istiyor. Bunlar, kullanıcı etkisinin tek bir güvenlik puanına indirgenmesini zorlaştıran unsurlar.

Uzun konuşmaların değerlendirilmesi

Rehberde, otomatik puanlayıcıların uzman insan değerlendirmeleriyle karşılaştırılması ve test ortamının iddia edilen kullanım alanına uygun olması da isteniyor. Örneğin bir tüketici sohbet ürününe ilişkin sonucu yalnızca farklı bir API ortamında ölçmek yeterli olmayabilir. Bu ayrıntı, ölçümün neyi temsil ettiğini açık tutmayı amaçlıyor.

Editoryal değerlendirmemize göre programın önemli tarafı, modelin ne kadar kibar göründüğünden daha zor bir soruya yönelmesi. Akıcı ve destekleyici bir dil, her zaman kullanıcının uzun vadeli yararına çalışmayabilir. Benzer biçimde her hassas konuşmanın reddedilmesi de yardım arayan kişinin ihtiyacını karşılamayabilir.

Bu nedenle sonuçların örnek konuşma gösterimlerinden daha fazla bilgi sunması gerekir. Hangi davranışın başarısızlık sayıldığı, neden böyle sayıldığı ve değerlendirmeciler arasında ne kadar uzlaşma bulunduğu açık olmalı. Yalnızca güçlü bir toplam skor, sınırdaki vakalarda modelin nasıl davrandığını veya hangi kullanıcı gruplarında zorlandığını göstermeyebilir.

Dil ve kültür farkları da test tasarımının parçası olmalı. Türkçe bir konuşmanın imaları, üslubu ve yardım kaynakları başka bir dilde kurulan örneklerle aynı olmayabilir. Bizce yerel bağlamı dikkate alan çalışmalar, küresel bir modelin gerçek kullanıcı deneyimine ilişkin daha anlamlı sorular üretebilir.

Başvurular için açıklanan ilk tarih 21 Eylül'de geçti; seçilen ekiplerin tam teklif aşamasına ilişkin bildirimlerinin 5 Ekim'de yapılması planlanıyor. Bugün haberin takip edilmesi gereken tarafı yeni başvuru vaadi değil, ortaya çıkacak açık değerlendirmeler. Bu çalışmalar, AI sohbetlerinin etkisi hakkında daha somut ve karşılaştırılabilir kanıt sağlayabilir.

■ MİZAN HABER