Microsoft Vall-E 2: Yapay Zeka Ses Taklidi Artık Ayırt Edilemez Düzeyde

Microsoft, geçtiğimiz yılın nisan ayında insan seslerini taklit edebilen metinden konuşmaya yapay zeka aracı VALL-E’yi tanıtmıştı. O periyotta VALL-E, çok kısa bir ses örneğinden sonra her türlü sesi taklit edebiliyordu. Ancak yeni duyurulan VALL-E 2, her sesi inanılmaz yüksek kalitede taklit edebiliyor. Bu yüzden Microsoft, VALL-E 2‘yi kamuoyuna sunulamayacak kadar ikna edici örnekler ürettiği için yayınlamama kararı aldı.

Microsoft VALL-E 2 korkutuyor
Daha önce de metinden konuşmaya (text-to-speech – TTS) yapay zeka araçları görmüştük ancak VALL-E 2, ilk sefer karşılaştırma ölçütlerinde beşerlerle aynı düzeye ulaşan çeşidinin tek örneği oluyor. Bu da modelin çok gerçekçi ses taklitleri yapabildiği anlamına geliyor. Microsoft’un VALL-E 2’yi halka açık bir şekilde yayınlamama nedeni de aslında bu. Aşağıdaki irtibattan bir örneğe bakabilirsiniz. Ayrıca Microsoft’un kendi sitesindeki örneklere de bakmanızı tavsiye ederiz. VALL-E 2 ile tek bir ses evrakıyla yapılan ilk denemede modelin insan seviyesinde performans gösterdiği belirtiliyor. Bununla birlikte VALL-E 2, karmaşıklığı veya tekrar eden tabirleri nedeniyle klasik olarak zor olan cümlelerde bile konuşma sentezini bozmuyor. VALL-E 2 temelinde ilk modelin üzerine inşa ediliyor ancak iki değeri geliştirmeyle destekleniyor: Tekrara Hassas Örnekleme ve Gruplandırılmış Kod Modelleme.

Birincisi, kod çözme işlemi sırasında seslerin veya cümlelerin sonsuz döngülerini önleyen belirteçlerin (token) tekrarlarını ele alarak yapay zekanın metni konuşmaya dönüştürme formunu geliştiriyor. Daha anlaşılır bir sözle, bu özellik VALL-E 2’nin konuşma biçimini değiştirmeye yardımcı olarak daha akıcı ve doğal görünmesini sağlıyor.

Gruplandırılmış Kod Modelleme ise dizi uzunluğunu ya da modelin tek bir giriş dizisinde tek tek işlediği belirteçlerin sayısını azaltarak verimliliği artırıyor. Böylelikle VALL-E 2’nin konuşma üretme hızı artırılıyor ve uzun ses evrakları işlenirken ortaya çıkan zorlukların önüne geçiliyor. LibriSpeech ve VCTK veri kümelerini kullanarak test edilen VALL-E 2 için araştırmacılar, konuşma sağlamlığı, doğallık ve konuşma benzerliği açısından evvelki TTS sistemlerinin geride bırakıldığını söyledi.

Microsoft, sahip olduğu yeteneklere rağmen potansiyel berbata kullanım riskleri nedeniyle VALL-E 2’yi halka sunmayacak. Ses klonlama ve deepfake teknolojisinin son derece erişilebilir olduğu düşünüldüğünde bu, yerinde bir karar. OpenAİ gibi diğer yapay zeka şirketleri de kendi ses teknolojilerine benzer kısıtlamalar uyguluyor.