OPENAİ, Öngörülen Çıktılar Özelliği ile Gpt-4o Model Çıktısını 5 Kata Kadar Hızlandırıyor

0

BEĞENDİM

ABONE OL

News

0

OpenAİ, büyük dil modellerinde (LLM) yaşanan gecikme meselesini Öngörülen Çıktılar (Predicted Outputs) isimli yeni bir geliştirici özelliğiyle çözmeye çalışıyor. Bu özellik, LLM çıktısının birçoklarının önceden bilindiği durumlarda kullanılabilecek. Belgeleri düzenleme veya kodu yeniden düzenleme gibi vazifeler bu özellik kullanılarak iyileştirilebilecek. Öngörülen Çıktılar bilinen içeriği atlamak için varsayımsal kod çözmeyi kullanıyor ve yinelemeleri çok daha hızlı hale getiriyor.

Geliştiriciler, mevcut içeriği tahminleri olarak ileterek gecikmeyi önemli ölçüde azaltabilecek. Bunu yaparak, tüm içeriğin çok daha hızlı bir şekilde yeniden oluşturulabilmesi mümkün olacak.

OpenAİ bu özelliği bazı harici ortaklarla test etmiş durumda ve sonuçlar da hayli olumlu. Örneğin, Microsoft GitHub grubunun dahili karşılaştırmalarına göre Copilot Workspace iş yüklerinde Öngörülen Çıktılar 5,8 kat hızlanmaya yol açtı.

Öngörülen Çıktılar kullanmak için geliştiriciler için bazı sınırlamalar mevcut. İlk olarak özellik sadece GPT-4o ve GPT-4o-mini model serileriyle destekleniyor. En son o1 modelleri ise desteklenmiyor. Ayrıca, Öngörülen Çıktılar kullanılırken şu mevcut API parametreleri desteklenmiyor:

• n values greater than 1
• logprobs
• presence_penalty greater than 0
• frequency_penalty greater than 0
• audio options
• modalities other than text
• max_completion_tokens
• tools – function calling is not supported

Bir tahmin sağlanırken, API’den en son tamamlamanın parçası olmayan sağlanan tüm belirteçler tamamlama belirteci oranlarında fiyatlandırılıyor.

Diğer Teknoloji Haberleri İçin Tıklayın / Bursa Haber – Bursa Gündem – Bursa Gündem Haber – Bursa Haberleri – Bursa Son Dakika 

Bizi İnstagram’da Takip Edebilirsiniz / @BursaGündemHaber

Bizi X’de Takip Edebilirsiniz / @BursaGündemHbr

Bizi Facebook’da Takip Edebilirsiniz / @BursaGündemHaber

Bizi Youtube’da Takip Edebilirsiniz / @BursaGündemHaber

Bizi Linkedin’de Takip Edebilirsiniz / @BursaGündemHaber