Openaı’dan Criticgpt: Gpt-4’ün Kusurlarını Gpt-4 Bulacak

0

BEĞENDİM

ABONE OL

News

0

OpenAI, ChatGPT tarafından üretilen koddaki yanlışları belirlemek için tasarlanmış yeni bir yapay zeka modeli olan CriticGPT‘yi tanıttı. CriticGPT, insanların büyük dil modeli (LLM) çıktılarını daha doğru hale getirmelerine yardımcı olan “insan geri bildirimi üzerine destekli öğrenme” (RLHF) sürecinde hataları tespit etmelerine yardımcı olacak.

OpenAI, ChatGPT tarafından oluşturulan programlama kodunu inceleyen insan eğitmenlere yardımcı olmak için CriticGPT’yi geliştirdiklerini söylüyor. Firma, ChatGPT kodunu gözden geçirmek için CriticGPT’den yardım alan insanların, yardım almayanlardan %60 oranında daha iyi performans gösterdiklerini belirtiyor.

GPT-4’ün yanılgıları GPT-4’e emanet

CriticGPT, ChatGPT’ye güç veren aynı GPT-4 ailesine dayanıyor. Yeni araç kodu analiz ediyor ve mümkün kusurlara işaret ederek, insanların aksi takdirde fark edilmeyebilecek kusurları tespit etmesini kolaylaştırıyor. Araştırmacılar CriticGPT’yi kasıtlı olarak eklenmiş hatalar içeren kod örneklerinden oluşan bir veri kümesi üzerinde eğiterek çeşitli kodlama yanlışlarını tanımayı ve işaretlemeyi öğrettiler.

Temelinde böylesi bir araca ihtiyaç duyulmasının felsefi de bir istikameti bulunuyor. Daha önce de bahsettiğimiz gibi RLHF müddetinde insanlar yapay zekaların yanılgılarını tespit ederek ince ayarlamaların yapılmasını sağlıyor. Fakat ChatGPT veya diğer yapay zekalar geliştikçe yaptıkları yanılgılar da giderek azalıyor veya fark edilemeyecek nüanslarda gerçekleşiyor. Bu noktada da insanların işini zorlaştırıyor. Çünkü model, geri bildirim sağlayan şahıstan daha bilgili hale doğru ilerliyor. OpenAI, temelinde bu zorluğu aşmak için ChatGPT yanıtlarındaki yanlışlıkları vurgulayan eleştiriler yazmak üzere CriticGPT’yi oluşturdu.

Yeni modelin eleştirileri, eğitmenler tarafından doğal yanlışları içeren olayların yüzde 63’ünde (yukarıda bahsedilen istatistik) ChatGPT’nin kendisi tarafından üretilenlere tercih edildi. Bunun nedeni kısmen yeni eleştirmenin daha az “nitpick” (yardımcı olmayan küçük şikayetler) üretmesi ve daha az sıklıkla halüsinasyon olarak görmesi.

OpenAI aynı zamanda Force Sampling Beam Search (FSBS) ismini verdikleri yeni bir teknik de geliştirdi. Bu yol en basit haliyle CriticGPT’nin daha detaylı kod incelemeleri yazmasına yardımcı oluyor. Araştırmacılar FSBS ile CriticGPT’nin sıkıntıları ararken ne kadar kapsamlı olacağını ayarlayabiliyor, aynı zamanda gerçekte var olmayan problemleri ne sıklıkla uydurabileceğini de kontrol edebiliyor.

İlginç bir bulgu da var

OpenAI, kod üzerindeki deneylere ek olarak, LLM eleştirmenlerinin genel yardımcı vazifelerde nasıl performans gösterdiğini de araştırdı ve ilginç bir şekilde CriticGPT’nin yeteneklerinin kodun ötesine geçtiğini keşfetti. OpenAI, daha önce insanlar tarafından kusursuz olarak değerlendirilen ChatGPT eğitim verilerinin bir alt kümesinde CriticGPT’yi test etti. İlginç bir şekilde CriticGPT, buradaki vakaların yüzde 24’ünde kusurlar buldu. OpenAI, bunun CriticGPT’nin kod dışı vazifelere genelleme potansiyelini gösterdiğini ve dikkatli insan değerlendirmesinin bile gözden kaçırabileceği ince yanılgıları yakalama yeteneğini vurguladığını düşünüyor.

CriticGPT kusursuz değil

En nihayetinde CriticGPT modeli de GPT-4 üzerinde inşa edilmiş bir yapay zeka. Bu nedende diğer tüm modeller gibi CriticGPT’nin de bazı sınırlamaları bulunuyor. Bu sınırlamaların başında modelin halen halüsinasyon görmesi geliyor. CriticGPT daha dar ve kaliteli bir veri kümesinde eğitilse de modellerin en doğal çalışma prensipleri nedeniyle daha az yapıyor olsa bile halüsinasyonlardan kurtulamıyor. Haliyle bunlar da insanların yanlış etiketlemeler yapmasına neden oluyor. Şayet bu konuda daha fazla bilgi almak istiyorsanız aşağıdaki içeriğimizi kesinlikle okuyunuz: 

Bununla birlikte CriticGPT, oldukça kısa olan ChatGPT yanıtları üzerinde eğitildi. Bu da uzun ve karmaşık vazifeleri değerlendirmede performansını düşürüyor. Ayrıca bazen kusurlar tek bir yerde olmayabiliyor. CriticGPT, muhakkak bir yerde tespit edilebilen yanılgıları belirlemede epey iyi olsa da gerçek dünyadaki kusurlar bir karşılığın birçok kısmında olabiliyor. Ek olarak OpenAI, CriticGPT’nin bir yere kadar yardımcı olabileceğini söylüyor. Bir görev veya karşılık son derece karmaşıksa, model yardımı alan bir uzman bile bunu doğru bir şekilde değerlendiremeyebilir.