Yapay Zeka Destekli Değerlendirme Sistemleri: Güvenilirlik ve Yanıltıcı Faktörler

Eğitim dünyasında açık uçlu soruların ve kompozisyonların değerlendirilmesi, uzun süredir insan uzmanların titiz çalışmasını gerektiren bir alandı. Ancak son yıllarda yapay zeka destekli otomatik değerlendirme sistemleri (Automated Scoring Systems - ASS), bu süreci kökten değiştirme potansiyeliyle sahneye çıktı. Bu sistemler, çoğu zaman deneyimli insan değerlendiricilerle kıyaslanabilir, hatta bazı durumlarda daha üstün performans sergileyerek büyük bir beğeni topladı. Özellikle sınav endüstrisinde, bu teknolojiler sayesinde değerlendirme süreçleri hızlandı, maliyetler düştü ve ölçeklenebilirlik arttı.

Ancak bu parlak tablonun ardında, yapay zeka tabanlı değerlendirme sistemlerinin önemli bir zaafı yatıyor: 'yapıyla ilgisiz faktörlere' karşı savunmasızlık. Yani, bir öğrencinin dilbilgisi, kelime seçimi veya yazım düzeni gibi, aslında ölçülmek istenen bilgi veya yetkinlikle doğrudan alakalı olmayan unsurlar, sistemin nihai puanını beklenmedik şekilde etkileyebiliyor. Bu durum, sistemlerin 'ne kadar doğru' değerlendirme yaptığı sorusunu gündeme getiriyor. Özellikle kötü niyetli veya manipülatif girdilere karşı sistemlerin ne kadar dirençli olduğu, eğitimde adalet ve tarafsızlık ilkeleri açısından kritik bir öneme sahip.

Son dönemde yapay zeka alanındaki en büyük atılımlardan biri olan büyük dil modellerinin (LLM) yükselişiyle birlikte, otomatik değerlendirme sistemleri de yeni bir evreye girdi. LLM'ler, metin anlama ve üretme yetenekleriyle bu sistemlere daha sofistike bir boyut kazandırsa da, beraberinde yeni riskleri de getiriyor. Bu modellerin karmaşık yapıları, yukarıda bahsedilen 'yapıyla ilgisiz faktörlerin' etkisini daha da artırabilir veya farklı manipülasyonlara açık hale getirebilir. Örneğin, bir öğrencinin cevabındaki belirli anahtar kelimelerin tekrarı veya belirli bir cümle yapısının kullanılması, içeriğin kalitesinden bağımsız olarak sistemi yüksek puan vermeye yönlendirebilir.

Bu bağlamda, teknoloji gazetecileri olarak bizler, bu sistemlerin sadece 'ne kadar iyi çalıştığını' değil, aynı zamanda 'ne kadar adil ve güvenilir' olduğunu da sorgulamak zorundayız. Yapay zekanın eğitimdeki rolü giderek artarken, geliştiricilerin ve araştırmacıların, sistemlerin yalnızca performans odaklı değil, aynı zamanda sağlamlık ve tarafsızlık ilkelerine uygun şekilde tasarlanmasını sağlaması büyük önem taşıyor. Aksi takdirde, eğitimde otomasyonun getireceği faydalar, öğrencilerin adil değerlendirilme hakkının ihlaliyle gölgelenebilir. Gelecekteki çalışmaların, bu sistemlerin zayıf noktalarını belirleyip gidermeye odaklanması, yapay zekanın eğitimdeki potansiyelini tam anlamıyla gerçekleştirmesi için elzemdir.