Santrauka
Tyrime nagrinėjamas emocinės prozodijos valdymas teksto vertimo į kalbą sistemose, nenaudojant iš anksto apibrėžtų emocijų žymų. Darbe jungiami StyleTTS 2 embeddingai ir HDBSCAN klasterizavimas pagal multimodalinius akustinius požymius.
Autoriai
Arnas Radzevičius, Žygimantas Girdauskas, Rokas Sabaitis, Aistis Raudys
Kas vertinta tyrime
Vertinama, ar klasterizavimo metodai gali aptikti praktiškai naudingus emocinius ir ekspresyvius kalbos modelius tada, kai rankiniu būdu sužymėtų emocijų kategorijų nėra arba jos per grubios sintezės valdymui.
Pagrindinės išvados
Siūlomas metodas leidžia gauti turtingesnę ekspresyvios kalbos struktūrą nei bazinis sprendimas. Neuroninių embeddingų ir akustinių požymių derinys padidina aptinkamų emocinių klasterių skaičių ir sumažina neklasterizuotų duomenų dalį.
Rezultatai rodo, kad neprižiūrimas prozodijos atradimas gali tapti praktišku valdymo sluoksniu ekspresyviai kalbos sintezei, ypač kalbose ar duomenų rinkiniuose, kuriuose trūksta emociškai sužymėtos kalbos.
Kodėl tai svarbu
Ekspresyvios balso sistemos turi ne tik taisyklingai tarti žodžius. Jos turi valdyti ritmą, akcentus ir emocinį atspalvį. Šis darbas artina prie sintezės sistemų, kurios tokias savybes gali išmokti iš pačio kalbos signalo.