The Information’ın yeni raporuna göre, yıl sonuna kadar geleceği hem söylenen hem de reddedilen OpenAI’nin yeni nesil Orion ChatGPT modeli, geldiğinde abartıldığı kadar iyi olmayabilir.
Anonim OpenAI çalışanlarına atıfta bulunan raporda belirtelim ki, Orion modelinin GPT-4’ün GPT-3’e kıyasla GPT-4 selefine kıyasla “çok daha küçük” bir gelişme gösterdiği iddia ediliyor.
Bu kaynaklar ayrıca Orion’un “belirli görevleri ele almada selefinden [GPT-4] güvenilir bir şekilde daha iyi olmadığını”, özellikle de uygulamaları kodlamada, ancak yeni modelin belgeleri özetleme veya e-posta oluşturma gibi genel dil yeteneklerinde belirgin şekilde daha güçlü olduğunu belirtiyor.
İlginizi Çekebilir: Google yapay zekası Gemini, Apple ile işbirliği yapıyor
Information’ın raporu, yeni modellerin yetersiz kazanımlarında önemli bir faktör olarak yeni modellerin eğitilmesi için “azalan yüksek kaliteli metin ve diğer veri kaynağı”ndan bahsediyor.
Kısacası, AI endüstrisi, X, Facebook ve YouTube (ikincisi iki farklı durumda) gibi sitelerden sosyal medya verilerinin kolay kaynaklarını çoktan ortadan kaldırmış olarak hızla bir eğitim veri darboğazına giriyor.
Bu nedenle, bu şirketler modellerini mevcut yeteneklerinin ötesine taşımalarına yardımcı olacak türden düğümlü kodlama zorluklarını bulmakta giderek daha fazla zorluk çekiyor ve bu da ön sürüm eğitimlerini yavaşlatıyor.
Bu azaltılmış eğitim verimliliği muazzam ekolojik ve ticari etkilere sahip. Sınır sınıfı LLM’ler büyüdükçe ve parametre sayılarını trilyonlara çıkardıkça, enerji, su ve diğer kaynakların miktarının önümüzdeki on yılda altı kat artması bekleniyor.
Bu yüzden Microsoft’un Three Mile Island’ı yeniden başlatmaya çalıştığını, AWS’nin 960 MW’lık bir tesis satın aldığını ve Google’ın yedi nükleer reaktörün çıktısını satın aldığını görüyoruz.
TechCrunch’ın bildirdiğine göre, OpenAI uygun eğitim verilerinin eksikliğini gidermek için bir “temel ekip” oluşturdu. Bu teknikler, Nvidia’nın Nemotron model ailesinin üretebildiği gibi sentetik eğitim verilerinin kullanılmasını içerebilir. Ekip ayrıca modelin eğitim sonrası performansını iyileştirmeyi de araştırıyor.
Başlangıçta OpenAI’nin GPT-5’inin kod adı olduğu düşünülen Orion’un artık 2025’te bir noktada gelmesi bekleniyor.
