AAI Labs
Pradinis
Paslaugos
ProduktaiProjektaiTyrimaiDI inžinieriai
Įmonė
Daugiau
Susisiekti
Loading…

Paslaugos

  • DI energetikai
  • DI savivaldybėms
  • DI transportui
  • Generatyvinis DI
  • LLM verslui
Visos paslaugos →

Įmonė

  • Apie mus
  • Karjera
  • Projektai
  • Privatumo politika
  • MTEP
  • Kontaktai

Daugiau

  • Mokymai
  • ES DI aktas
  • DI žodynas
  • Tyrimai
  • Tinklaraštis
  • Naujienos

Produktai

  • AI Team for Hire
  • AI Scan
  • Merkys.AI
  • Cargobroker.AI
  • DI inžinerinei pramonei
Visi produktai →

UAB Taikomasis dirbtinis intelektas © 2026

[email protected]LinkedIn →
Tyrimas2026

Emocinės kalbos sintezė naudojant intonacijos ir ritmo požymių klasterizavimą

Emocinės intonacijos ir ritmo valdymas TTS sistemose be iš anksto apibrėžtų žymų išlieka sudėtinga problema. Sujungiame StyleTTS 2 embeddingus ir HDBSCAN klasterizavimą pagal multimodalinius akustinius požymius, taip gaudami daugiau emocinių klasterių ir mažiau neklasterizuotų duomenų nei bazinis metodas.

Skaityti tyrimą

Santrauka

Tyrime nagrinėjamas emocinės prozodijos valdymas teksto vertimo į kalbą sistemose, nenaudojant iš anksto apibrėžtų emocijų žymų. Darbe jungiami StyleTTS 2 embeddingai ir HDBSCAN klasterizavimas pagal multimodalinius akustinius požymius.

Autoriai

Arnas Radzevičius, Žygimantas Girdauskas, Rokas Sabaitis, Aistis Raudys

Kas vertinta tyrime

Vertinama, ar klasterizavimo metodai gali aptikti praktiškai naudingus emocinius ir ekspresyvius kalbos modelius tada, kai rankiniu būdu sužymėtų emocijų kategorijų nėra arba jos per grubios sintezės valdymui.

Pagrindinės išvados

Siūlomas metodas leidžia gauti turtingesnę ekspresyvios kalbos struktūrą nei bazinis sprendimas. Neuroninių embeddingų ir akustinių požymių derinys padidina aptinkamų emocinių klasterių skaičių ir sumažina neklasterizuotų duomenų dalį.

Rezultatai rodo, kad neprižiūrimas prozodijos atradimas gali tapti praktišku valdymo sluoksniu ekspresyviai kalbos sintezei, ypač kalbose ar duomenų rinkiniuose, kuriuose trūksta emociškai sužymėtos kalbos.

Kodėl tai svarbu

Ekspresyvios balso sistemos turi ne tik taisyklingai tarti žodžius. Jos turi valdyti ritmą, akcentus ir emocinį atspalvį. Šis darbas artina prie sintezės sistemų, kurios tokias savybes gali išmokti iš pačio kalbos signalo.