CriticGPT, ChatGPT’nin hatalarını bulacak. Evet, GPT-4’ün performansını değerlendirmede farklı bir yaklaşım benimseyen OpenAI, CriticGPT’nin oluşturulduğunu duyurdu. GPT-4’ü temel alan model, ChatGPT’nin yanıtlarını değerlendirip eleştirebiliyor, insan denetçilere ve eğitmenlere de modeli geliştirmede yardımcı oluyor.
Şu anda CriticGPT, ChatGPT’nin İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF) etiketleme hattına entegre edilme sürecinde. OpenAI, yeni yapay zeka eleştirmeninin ek desteğiyle, ChatGPT tarafından üretilen eğitim verileri ve yanıtlardaki sorunları tespit etme ve derecelendirme verimliliğini artırmayı umuyor.
İlginizi Çekebilir: OpenAI’nin yeni yıldızı: GPT-4o’nun mükemmel yetenekleri
CriticGPT’de hala mevcut olan halüsinasyonları azaltabilecek modeller geliştirmek için şu anda çalışmalar da yapılıyor
Modelin oluşturulması, OpenAI tarafından yayınlanan bir araştırma makalesinden kaynaklanıyor; araştırmacılardan biri, Safe Superintelligence Inc.’i kurmak için bu yıl Mayıs ayında Ilya Sutskever ile birlikte şirketten ayrılan eski OpenAI güvenlik başkanı Jan Leike.
İlginç bir şekilde, 2022’de OpenAI yönetimindeki Leike, insan değerlendiricilere yardımcı olmak için öz eleştiri yapan modeller oluşturmaya ilişkin benzer bir araştırma makalesi yayınlamıştı.
Böyle bir model geliştirme ihtiyacıyla ilgili olarak OpenAI, yapay zeka davranışları geliştikçe bu modellerdeki hataların da daha incelikli hale geldiğini belirtti.
“Bu, yapay zeka eğitmenlerinin hataları meydana geldiğinde tespit etmesini zorlaştırabilir ve RLHF’yi güçlendiren karşılaştırma görevini çok daha zor hale getirebilir. Bu, RLHF’nin temel bir sınırlamasıdır ve modeller yavaş yavaş geri bildirim sağlayabilecek herhangi bir kişiden daha bilgili hale geldikçe modelleri hizalamayı giderek zorlaştırabilir”
Model, ChatGPT‘ye benzer şekilde RLHF’ye dayalı olarak eğitildi. Ancak eleştirmekle görevlendirildiği hataları içeren katlanarak daha fazla girdiye maruz kaldı. Etkinliğiyle ilgili olarak OpenAI, her zaman doğru olmasa da modelin RLHF sürecine dahil edilmesinin eğitmenlere olanak sağladığını ifade etti.
Sınırlamalar açısından şirket, daha uzun ve daha karmaşık görevleri anlayıp eleştirebilecek ve ayrıca CriticGPT’de hala mevcut olan halüsinasyonları azaltabilecek modeller geliştirmek için şu anda çalışmaların yapıldığını da söyledi.
