Yapay Zeka, 3 Boyutlu Uzamsal Akıl Yürütmede Yeni Bir Çağa Giriyor: TRACE ile Videoları Anlamak

Günümüzün en gelişmiş yapay zeka sistemlerinden olan Çok Modlu Büyük Dil Modelleri (MLLM'ler), metin, görüntü ve ses gibi farklı veri türlerini bir araya getirerek dünyayı anlamaya çalışıyor. Ancak bu modellerin önemli bir eksikliği, özellikle video girdilerinden elde edilen 3 boyutlu uzamsal akıl yürütme yeteneklerinin sınırlı olmasıydı. Bir videoda nesnelerin birbirine göre konumunu, hareketlerini ve derinliklerini doğru bir şekilde algılayıp yorumlamakta zorlanıyorlardı. Bu durum, otonom araçlar, robotik ve sanal gerçeklik gibi alanlarda yapay zekanın tam potansiyeline ulaşmasının önünde ciddi bir engel teşkil ediyordu.

Bu kritik boşluğu doldurmak amacıyla yapılan yeni bir araştırma, insan bilişinden ilham alarak MLLM'lerin uzamsal akıl yürütme yeteneklerini kökten değiştirmeyi hedefliyor. 'Allocentric' uzamsal akıl yürütme teorilerinden yola çıkan araştırmacılar, MLLM'lerin video içeriğini metin tabanlı uzamsal temsiller aracılığıyla modellemesini ve bu temsiller üzerinden akıl yürütmesini sağlamanın yollarını aradı. Bu yaklaşımın temelinde, karmaşık görsel bilgiyi, yapay zekanın daha kolay işleyebileceği ve üzerinde mantık yürütebileceği yapılandırılmış metinsel ifadelere dönüştürmek yatıyor.

Bu çabaların sonucunda, 'Egocentric Videodan Allocentric Bağlamın Metinsel Temsili' (TRACE) adı verilen çığır açan bir yöntem geliştirildi. TRACE, MLLM'lere verilen komutları (prompt) zenginleştirerek, videoların 3 boyutlu uzamsal yapısını ve nesneler arası ilişkileri metinsel olarak ifade etmelerini sağlıyor. Bu sayede, modeller videoda gördükleri sahneyi sadece yüzeysel olarak algılamakla kalmıyor, aynı zamanda nesnelerin birbirine göre nerede olduğunu, hangi yöne baktığını veya ne kadar uzakta olduğunu daha soyut ve yapılandırılmış bir şekilde kavrayabiliyor. Bu, yapay zekanın bir sahneyi 'okuyabilmesi' ve 'anlayabilmesi' anlamına geliyor.

TRACE gibi yenilikçi yaklaşımlar, yapay zeka teknolojilerinin geleceği için büyük umut vadediyor. Geliştirilmiş 3 boyutlu uzamsal akıl yürütme yetenekleri, otonom sistemlerin çevrelerini daha güvenli ve etkili bir şekilde algılamasını sağlayabilir. Robotlar, karmaşık ortamlarda daha akıllıca hareket edebilir ve insanlarla daha doğal etkileşimler kurabilir. Sanal ve artırılmış gerçeklik uygulamaları ise daha gerçekçi ve sürükleyici deneyimler sunabilir. Bu teknoloji, yapay zekanın dünyayı bizim gibi, hatta belki de bizden daha detaylı bir şekilde anlamasına giden yolda önemli bir kilometre taşı olabilir.