UNIKOMUNIKOM

International Journal of Informatics, Information System and Computer Engineering (INJIISCOM)International Journal of Informatics, Information System and Computer Engineering (INJIISCOM)

Mengenali emosi bicara merupakan tantangan besar karena kompleksitas emosi. Fungsionalitas Speech Emotion Recognition (SER) sangat dipengaruhi oleh sinyal emosional yang diambil dari suara. Ciri-ciri emosional sering dipengaruhi oleh elemen netral seperti pembicara, gaya bicara, dan gender. Penelitian ini mengusulkanoreet feature computing yang mempertahankan informasi delta yang relevan dengan ciri emosional sembari meminimalkan komponen tidak relevan, sehingga meminimalkan kesalahan klasifikasi. Selain itu, SER juga sering mengolah frame yang tidak berkaitan dengan emosi. Model 2‑D Convolutional Recurrent Neural Network (CRNN) berbasis perhatian diusulkan untuk mempelajari karakteristik yang membedakan dan memprediksi emosi. Mel-spectrogram digunakan sebagai input fitur. Eksperimen pada dataset IEMOCAP menunjukkan performa terbaik dengan akurasi 68 %.

1) Model 2‑D Attention-Based CRNN memperoleh akurasi 68 % pada dataset IEMOCAP, menandakan peningkatan dibandingkan model 1‑D CNN‑LSTM dan 2‑D CNN standar.2) Mekanisme perhatian berhasil memfokuskan model pada frame yang relevan emosi, sehingga mengurangi misclassifikasi pada frame netral.3) Hasil menunjukkan potensi penerapan arsitektur ini pada tugas SER dengan dataset sejenis, namun perlu pengujian pada set_credatasets berbahasa berbeda.

Studi lanjutan dapat mengeksplorasi penerapan model 2‑D Attention‑Based CRNN pada dataset multibahasa untuk menguji generalisasi lintas bahasa, sekaligus mengkaji dampak pemrosesan teks-voice secara bersamaan guna meningkatkan akurasi. Selain itu, menggabungkan data multimodal— spelling audio, teks, dan visual—dalam satu framework berbasis CRNN dengan mekanisme perhatian crosstalk dapat memperkaya representasi emosi. Selanjutnya, penerapan transfer learning atau domain adaptation memungkinkan model memanfaatkan data terbatas dan meningkatkan kinerja di domain rendah sumber daya tanpa perlu pelatihan end‑to‑end yang berat. Dengan mengkombinasikan tiga arah ini, penelitian dapat menelusuri efektivitas DRL, interpretabilitas, serta skalabilitas model SER di aplikasi dunia nyata.

  1. 2-D Attention Based Convolutional Recurrent Neural Network for Speech Emotion Recognition | International... ojs.unikom.ac.id/index.php/injiiscom/article/view/84092 D Attention Based Convolutional Recurrent Neural Network for Speech Emotion Recognition International ojs unikom ac index php injiiscom article view 8409
Read online
File size441.04 KB
Pages10
DMCAReport

Related /

ads-block-test