Pennsylvania Üniversitesi’ndeki araştırmacıların yaptığı bir çalışma, AI içerik detektörlerinin insanların düşündüğü kadar güvenilir olmadığını buldu.
AI metin algılayıcıları, bir metnin AI tarafından oluşturulup oluşturulmadığını analiz etmek için kullanılıyor. Ancak bu AI içerik detektörlerinin, yalnızca insanlar tarafından kolayca yazılabilen bazı belirli işaretleri arayacak şekilde geliştirilmiş olduğunu belirtelim.
Bazen, AI algılayıcıları AI tarafından oluşturulan metni kolayca buluyor ancak haber makaleleri gibi belirli metinlerle karşı karşıya kaldıklarında iyi performans göstermiyorlar. Bazen, bu AI içerik detektörleri tamamen insan tarafından yazılmış metni AI tarafından oluşturulan içerik olarak da işaretliyor.
İlginizi Çekebilir: BTÜ mühendislerinin elinden yapay zeka destekli insansı robot “Moria”
AI içerik detektörleri, gerçek olamayacak kadar iyi olan yüzde 99 doğruluk iddia ediyor
Çalışmanın araştırmacıları, bu dedektörlere haber makalelerinden bloglara ve tariflere kadar 10 milyon belgelik bir veri kümesi vererek ve bunları kıyaslayarak yapay zeka tarafından yazılmış bir metni genelleştirmek için yeni bir yol önerdi.
Daha sonra da halka açık bir liderlik tablosu, yapay zeka dedektörlerini bu veri kümelerine göre performanslarına göre sıralayacaktı. AI dedektörlerini kıyaslamaya çalıştıklarını, böylece birisi yeni bir fikir ortaya atarsa, metninin gerçekten insan tarafından yazılmış olduğunu doğrulayabileceğimizi söylediler.
2019’da GPT-2’nin ve 2022’de GPT-3’ün piyasaya sürülmesinden bu yana, yapay zeka metin oluşturucuları tarafından üretilen metinle ilgili çok sayıda sorun yaşandı. Birçok öğretmen, öğrencilerinin ödevlerini ve akademik makalelerini yazmak için LLM’leri kullanmaları konusunda endişelerini dile getirdi.
Birçok AI içerik dedektörü, gerçek olamayacak kadar iyi olan yüzde 99 doğruluk iddia ediyor. Hatta bazıları da yapay zekanın tespit edilmesinin zor olduğunu iddia ediyor.
Araştırmacılar, belirli kelimeleri değiştirip kelimelere İngiliz yazım biçimleri eklersek AI dedektörlerinin aldatılmasının kolay olduğunu belirtiyor. Bazı dedektörler ayrıca eğitildikleri AI metin modellerinde en iyi şekilde çalışıyor. Bu nedenle de bazen Anthropic’in Claude’u gibi modeller tarafından yazılmış metni doğru bir şekilde tespit edemiyorlar.
Özellikle haberleri tespit etmek için tasarlanmış bazı AI içerik dedektörleri yemek tariflerinde de zorluk çekebiliyor. Sonuç olarak, LLM’ler iyileştikçe AI dedektörleri AI tarafından yazılmış metni doğru bir şekilde tespit etmekte zorlanıyor.
