Gizli Klonlar: Görsel-Dil Modeli Topluluklarında Aile Yanlılığını Ortaya Çıkarma ve Düzeltme

Farklı sağlayıcılardan Görsel-Dil Modellerini (VLM'ler) bir araya getirmek (ensembling) kıyaslama doğruluğunu en üst düzeye çıkarır, ancak aynı mimari aileden gelen modeller, standart oylamanın göz ardı ettiği ilişkili hataları paylaşır. Bu yapıyı VQAv2, TextVQA ve GQA üzerinde 8 aileden 17 VLM genelinde inceliyoruz. Aile ile ilişkili hatalar, etkili topluluk boyutunu 2.5-3.6 bağımsız oylayıcıya düşürür ve ilişkili çoğunluk hatalarının, en iyi performansa rağmen doğruluğu %0'a indirdiği yanıltıcı bir katman (%1.5-6.5 oranında soru) oluşturur...