UNAIRUNAIR

Journal of Information Systems Engineering and Business IntelligenceJournal of Information Systems Engineering and Business Intelligence

Komunikasi merupakan tantangan signifikan bagi individu dengan gangguan pendengaran dan bicara. Untuk kelompok ini, bahasa isyarat menjadi medium komunikasi utama. Namun, kesulitan komunikasi muncul saat mereka berinteraksi dengan pihak yang tidak memahami bahasa isyarat. Penelitian ini bertujuan mengembangkan model yang mampu mengenali gerakan bahasa isyarat dalam Bahasa dan mengubahnya menjadi kata-kata, dengan fokus pada kosakata terkait aktivitas keagamaan. Metode yang digunakan melibatkan ekstraksi fitur menggunakan MediaPipe, serta penerapan jaringan saraf konvolusional (CNN) dan long short-term memory (LSTM). Hasil menunjukkan bahwa model bidirectional LSTM mencapai akurasi 100%, sedangkan kombinasi CNN-LSTM mencapai 95,24%. Kesimpulan menyatakan bahwa bidirectional LSTM lebih unggul dalam menangkap informasi temporal, serta pentingnya normalisasi data landmark dan variasi jenis pengambilan gambar terhadap akurasi.

Model bidirectional LSTM lebih unggul dalam mengenali bahasa isyarat dinamis dibandingkan unidirectional LSTM karena kemampuannya menangkap informasi temporal secara lebih kaya.Meskipun CNN sendiri tidak seefektif bidirectional LSTM, kombinasi CNN-LSTM menghasilkan peningkatan performa.Normalisasi data landmark dan variasi jenis pengambilan gambar (seperti straight-shot) berdampak signifikan terhadap akurasi pengenalan.

Penelitian lanjutan dapat mengembangkan model untuk mengenali kalimat lengkap dalam bahasa isyarat Bahasa, bukan hanya kata-kata individual. Selain itu, peneliti bisa mengeksplorasi integrasi teknik Machine Learning lain seperti Transformer untuk meningkatkan akurasi pengenalan gerakan dinamis. Terakhir, penelitian juga dapat fokus pada pengoptimalan penggunaan perangkat lunak seperti MediaPipe untuk ekstraksi fitur yang lebih efisien, terutama dalam skenario pengambilan gambar dengan variasi sudut yang kompleks.

  1. Penerapan Metode Long Short Term Memory Untuk Klasifikasi Pada Hate Speech | Journal of Informatics and... ejournal.unesa.ac.id/index.php/jinacs/article/view/50904Penerapan Metode Long Short Term Memory Untuk Klasifikasi Pada Hate Speech Journal of Informatics and ejournal unesa ac index php jinacs article view 50904
  2. PENGEMBANGAN APLIKASI PENGENALAN BAHASA ISYARAT ABJAD SIBI MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK... ejournal.itn.ac.id/index.php/jati/article/view/4507PENGEMBANGAN APLIKASI PENGENALAN BAHASA ISYARAT ABJAD SIBI MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK ejournal itn ac index php jati article view 4507
  3. Indonesian Sign Language Number Recognition using SIFT Algorithm - IOPscience. indonesian sign language... doi.org/10.1088/1757-899X/336/1/012010Indonesian Sign Language Number Recognition using SIFT Algorithm IOPscience indonesian sign language doi 10 1088 1757 899X 336 1 012010
Read online
File size1.08 MB
Pages13
DMCAReport

Related /

ads-block-test