Pariški startup Gradium objavio je Phonon, model za sintezu govora (text-to-speech, TTS) koji radi na telefonu, laptopu ili u pregledniku, bez servera i mrežne veze. Model je pušten 20. oktobra. Tekst na blogu Hugging Facea od 5. novembra predstavlja njegovu integraciju u biblioteku Transformers i rezultate na novom Hugging Faceovom benchmarku.
Gradium je izdvojen iz pariške neprofitne laboratorije Kyutai i dosad je prikupio više od 100 miliona dolara, između ostalog od Nvidije, piše Sifted. Phonon se oslanja na Kyutaijev model Pocket TTS. Gradium navodi da je preuzet više od 200.000 puta u prve dvije sedmice.
Dva modela, dvije licence
| Model | Jezici | Licenca težina | Komercijalna upotreba |
|---|---|---|---|
| Phonon 31m | engleski | Apache 2.0 | Da, besplatno |
| Phonon 40m | engleski, francuski, njemački, španski, portugalski | CC BY-NC 4.0 | Samo uz dogovor s Gradiumom |
Izvori: Hugging Face blog, VoiceAI Space.
Za programere je to ključna razlika. Samo engleski model smije se besplatno koristiti u komercijalnim aplikacijama. Cijenu za višejezični model Gradium ne objavljuje; navodi samo da zavisi od broja korisnika, a ne od količine generisanog govora. Modeli zauzimaju oko 65 i 75 MB, a engleski ima 30,8 miliona parametara.
Nijedan od pet jezika nije bosanski, hrvatski ili srpski. Gradium kaže da druge jezike može trenirati za partnere, i kao primjere navodi korejski, arapski i japanski.
Koliko su rezultati čvrsti
Naslov posta kaže da Phonon predvodi benchmarke. Detalji su skromniji. Prema tekstu, Phonon je prvi po razumljivosti na njemačkom i španskom, a u ostalim testiranim jezicima među prva tri. Najjači rezultat je brzina. Na testu streaminga na procesoru, 95 posto zahtjeva dobije prvi zvuk za 28 milisekundi kod modela 31m, naspram 165 milisekundi kod Pocket TTS-a.
Rezultati dolaze s Open TTS Leaderboarda, koji je Hugging Face predstavio 30. septembra. Prednost mu je javna metodologija. Ipak, nije potpuno odvojen od ovog lansiranja: Eric Bezzam i Eustache Le Bihan, koautori teksta o Phononu, potpisuju i tekst kojim je leaderboard predstavljen. To ne znači da su rezultati pogrešni, ali je važno za procjenu.
Autori leaderboarda i sami upozoravaju na granice svojih mjera. Stopa pogrešno prepoznatih riječi (WER) pokazuje razumljivost, ali ne zamjenjuje ljudsko slušanje i ne mjeri prirodnost ni izražajnost. Brzina na procesoru izmjerena je samo za manji broj modela, a nijedan od dva teksta ne navodi koji procesor je korišten. Na engleskom su u septembru najbolji WER imali Kokoro-82M, supertonic-3 i s2-pro.
Bez servera, uz jedan izuzetak
Sinteza govora odvija se lokalno, pa tekst koji korisnik upiše ne napušta uređaj. Vlastiti glas se, međutim, klonira ili dizajnira u Gradium Studiju ili preko API-ja, odnosno kroz Gradiumovu uslugu. Gotova datoteka glasa zatim radi na uređaju. Gradium traži pristanak osobe čiji se glas klonira. Nijedan izvor ne spominje vodeni žig ni druge zaštite od zloupotrebe kloniranih glasova, a podaci na kojima je model treniran nisu objavljeni.
O broju glasova izvori se ne slažu. Hugging Faceov tekst navodi više od 100 ugrađenih glasova, a prema VoiceAI Spaceu engleski model dolazi s 37. Moguće je da se veći broj odnosi na sve modele zajedno.
Kako ga pokrenuti
Od verzije 5.21 Phonon je dio biblioteke Transformers, kao referentna PyTorch implementacija za grupno generisanje na grafičkim karticama, npr. za pravljenje govornih skupova podataka. Za aplikacije Gradium nudi vlastiti okvir ptts. Podržava više od deset vrsta hardvera: procesore (Intel, Arm, WebAssembly), grafičke kartice (CUDA, Vulkan, Metal, WebGPU) i neuralne procesore (Apple Core ML, Snapdragon). Postoji i verzija za ExecuTorch i WebGPU, za rad u pregledniku.
Šta to znači za developere
Za aplikacije na engleskom koje moraju raditi bez mreže ili uz strogu privatnost, Phonon 31m je ozbiljan kandidat: licenca dozvoljava komercijalnu upotrebu, a kašnjenje je zanemarljivo. Prije odluke vrijedi ga uporediti s modelima koji vode po razumljivosti na engleskom i poslušati ga na vlastitim tekstovima. Za višejezične proizvode model postoji, ali komercijalna upotreba zavisi od pregovora s Gradiumom. Za naše jezike rješenja zasad nema.
