Çin Bilim ve Teknoloji Üniversitesi’nden ve Tencent’in YouTu Laboratuvarı’ndan bilim adamlarından oluşan bir ekip bir araç geliştirdi. Bu araç, yapay zeka (AI) modelleriyle “halüsinasyonla” mücadele etmek için geliştirildi. Halüsinasyon, bir yapay zeka modelinin, eğitim verilerinde mevcut bilgilere dayalı olarak görünmeyen, yüksek düzeyde güvene sahip çıktılar üretme eğilimidir. Bu sorun büyük dil modeli (LLM) araştırmalarına da nüfuz ediyor. Etkileri de OpenAI’nin ChatGPT‘si ve Anthropic’in Claude’u gibi modellerde görülebilir.
USTC/Tencent ekibi, multimodal geniş dil modellerindeki (MLLM’ler) halüsinasyonları düzeltebildiğini iddia ettikleri “Woodpecker” adlı bir araç geliştirdi.
İlginizi Çekebilir: Apple, yapay zeka yarışına yetişmek için büyük çaba harcıyor
Üç Ayrı Yapay Zeka Modeli
Yapay zekanın bu alt kümesi, GPT-4 (özellikle görsel varyantı GPT-4V) gibi modelleri ve metin tabanlı dil modellemenin yanı sıra vizyonu ve/veya diğer işlemleri üretken yapay zeka yöntemine aktaran diğer sistemleri içeriyor.
Ekibin ön baskı araştırma makalesine göre Woodpecker, halüsinasyon düzeltmesi gerçekleştirmek için MLLM’nin halüsinasyonlar için düzeltilmesi dışında üç ayrı AI modeli kullanıyor.
Bunlar arasında GPT-3.5 turbo, Topraklama DINO ve BLIP-2-FlanT5 bulunuyor. Bu modeller birlikte, halüsinasyonları tespit etmek ve düzeltilen modele, çıktısını verilerine uygun olarak yeniden üretmesi talimatını vermek için değerlendirici olarak çalışıyor.
Woodpecker’ı destekleyen AI modelleri, halüsinasyonları düzeltmek için “anahtar kavramın çıkarılması, soru formülasyonu, görsel bilginin doğrulanması, görsel iddia oluşturulması ve halüsinasyonun düzeltilmesi”ni içeren beş aşamalı bir süreç kullanıyor.
Araştırmacılar, bu tekniklerin ek şeffaflık sağladığını ve “temel MiniGPT-4/mPLUG-Owl’a göre doğrulukta yüzde 30,66/yüzde 24,33 iyileşme” sağladığını iddia ediyor. Kendi yöntemlerini kullanarak çok sayıda “kullanıma hazır” MLLM’yi değerlendirdiler ve Woodpecker’ın “diğer MLLM’lere kolayca entegre edilebileceği” sonucuna vardılar.
