Az resurslu urdu dilində multimodal çoxtapşırıqlı nitq emosiyalarının tanınması üçün kross-modal audio-mətn diqqəti

Aşağı mənbəli dillərdə danışıq duyğularının tanınması (SER) məhdud qeyd edilmiş məlumatlar, danışıqların dəyişikliyi və emosional ifadələrin multimodal təbiəti səbəbindən çətin qalır. Bu kağız təkrarlamaları, Wave2vec 2.0, XLM-R, cross-modal attention və multitask affektiv modelləşdirmə komponentlərini birgə müstəqil, dillərarası sıfır atış və ərəf-ədalət ümumiləşdirmələri üzrə müvafiq olaraq təsdiqlənən bir çərçivəyə çevirdi. Təxirə salınan çoxmodal çox vəzifəli model, güclü yalnız səs və yalnız mətn əsas xəttlərini üstün tutaraq, yalnız duyğulardan ötrü birgə valensiya-qəsd öyrənmə ilə birləşmiş duyğulardan daha yaxşı nəticə göstərən Urdu Speech Emotion Corpus (UrSEC) -da 91,3% -lik duyğuları tanıma dəqiqliyini əldə edir. Səsvericidən asılı olmayan qiymətləndirmə təsadüfi bölünmə testlərinə nisbətən performans azaldığını göstərir, lakin səsvericidən xüsusi tərəfə əhəmiyyətli möhkəmlik təsdiq edir. İngilis məlumat dəstlərində sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdan sıfırdırdırdırdırdır (II) Bütün performans artımları bir neçə yarışda statistik olaraq təsdiqlənir və miqdarlı sadiqlik testi ilə dəstəklənən diqqət / inteqrasiya edilmiş dərəcələrin təhlili göstərir ki, model əhval-ruhiyyə baxımından əhəmiyyətli akustik bölgələrə və urdu tokenlarına əsaslanır.

İş, Meksika Politeknik Milli İnstitutunun Tədqiqat və Mezunüstü Təhsillər Katibi (SIP) tərəfindən 20260626 (G.S.) və 20260496 (O.K.) qrantlardan qismən dəstəklənərək həyata keçirilib.

Centro de Investigación en Computación, Instituto Politécnico Nacional, Meksika Şəhəri, 07320, Meksika

Abdullah, Məhəmməd Ateeb Ather, Olga Kolesnikova & Grigori Sidorov

Bahria Universitetinin Kompüter Elmləri Bölməsi, Lahor, 54600, Pakistan

Əməkdaş Səhiyyə Elmləri Fakültəsi, Superior Universiteti, Lahor, 54000, Pakistan