Yapay Zeka Kaynak Gösterimlerinde 'Halüsinasyon' Tehlikesi: Güvenilirlik Testi Başarısız Oldu

Yapay zeka teknolojileri günlük hayatımızın ve iş dünyasının ayrılmaz bir parçası haline gelirken, bu sistemlerin ürettiği bilgilerin doğruluğu ve güvenilirliği giderek daha kritik bir hal alıyor. Özellikle büyük dil modelleri (LLM'ler) ve derin araştırma ajanları, iddialarını desteklemek için kaynak URL'leri sunsa da, bu referansların ne kadar geçerli olduğu bugüne kadar sistematik olarak incelenmemişti. Yeni bir akademik çalışma, yapay zekanın kaynak gösterme yeteneğindeki ciddi bir zafiyeti, yani 'halüsinasyon' sorununu gözler önüne seriyor.

Araştırmacılar, DRBench platformundaki 10 model ve ajandan elde edilen 53.090 URL ile ExpertQA platformundaki 3 modelden gelen 32 akademik alana yayılan 168.021 URL'yi analiz ederek, yapay zeka tarafından sunulan kaynakların geçerliliğini detaylı bir şekilde inceledi. Çalışmanın en çarpıcı bulgularından biri, referans gösterilen URL'lerin %3 ila %13'ünün tamamen 'halüsinasyon' ürünü olmasıydı. Bu, söz konusu URL'lerin Wayback Machine gibi arşiv hizmetlerinde hiçbir kaydının bulunmadığı ve büyük olasılıkla hiçbir zaman var olmadığı anlamına geliyor. Başka bir deyişle, yapay zeka bu kaynakları adeta 'uyduruyor'.

Halüsinasyonun yanı sıra, incelenen URL'lerin %5 ila %18'inin 'çalışmayan' veya 'geçersiz' olduğu tespit edildi. Bu durum, yapay zekanın sunduğu bilgilerin doğruluğunu kontrol etmek isteyen kullanıcılar için ciddi bir engel teşkil ediyor. Bir kaynağın var olmaması veya erişilemez olması, verilen bilginin teyit edilememesine ve dolayısıyla güvenilirliğinin sorgulanmasına yol açıyor. Bu bulgular, yapay zeka sistemlerinin sadece bilgi üretmekle kalmayıp, bu bilgileri destekleyen referansları da doğru ve geçerli bir şekilde sunmasının ne kadar önemli olduğunu gösteriyor.

Bu araştırma, yapay zeka geliştiricileri ve kullanıcıları için önemli dersler içeriyor. Büyük dil modellerinin ve araştırma ajanlarının sunduğu bilgileri körü körüne kabul etmek yerine, kaynakların doğruluğunu ve geçerliliğini sorgulamak büyük önem taşıyor. Gelecekte, yapay zeka modellerinin referans gösterme mekanizmalarının iyileştirilmesi, halüsinasyon oranlarının düşürülmesi ve sunulan kaynakların daha güvenilir hale getirilmesi için ciddi Ar-Ge çalışmaları yapılması gerekecek. Aksi takdirde, yapay zekanın bilgi kirliliğini artırma riski, faydalarını gölgede bırakabilir.