IRPIIRPI

MALCOM: Indonesian Journal of Machine Learning and Computer ScienceMALCOM: Indonesian Journal of Machine Learning and Computer Science

Bahasa isyarat adalah alat komunikasi utama bagi para penyandang tunarungu dan tunawicara. Namun, terbatasnya pemahaman bahasa isyarat oleh masyarakat umum sering kali menjadi kendala dalam berkomunikasi. Penelitian ini bertujuan untuk merancang program pengenalan frasa bahasa isyarat tangan Bahasa Isyarat Indonesia (BISINDO) secara real-time dengan menggunakan algoritma YOLO11 dan library OpenCV. YOLO11 digunakan sebagai metode deep learning untuk mengenali isyarat tangan, sedangkan OpenCV digunakan untuk pemrosesan video real-time dan visualisasi hasil deteksi. Model ini dilatih menggunakan lebih dari 3.000 gambar yang mewakili enam class frasa BISINDO: “saya, “kamu, “senang, “bingung, “marah, dan “apa kabar, sebanyak 263 epoch. Hasil pengujian model menunjukkan rata-rata nilai precision dan recall di atas 0,9; F1-Score sebesar 0,982; mAP50 sebesar 0,993; dan mAP50-95 sebesar 0,938. Pada pengujian real-time, model menunjukkan latency rata-rata stabil di kisaran 80-90ms, frame rate 11-12FPS, dan confidence score rata-rata 0,9 untuk semua class. Berdasarkan Penelitian yang telah dilakukan, disimpulkan bahwa integrasi YOLO11 dan OpenCV berhasil digunakan sebagai algoritma dalam mengenali frasa bahasa isyarat tangan BISINDO secara real-time.

Penelitian ini berhasil membangun program untuk pengenalan frasa bahasa isyarat tangan BISINDO secara real-time dengan mengintegrasikan algoritma YOLO11 dan library OpenCV.Model yang dihasilkan menunjukkan akurasi tinggi dalam pengenalan enam frasa BISINDO, dengan rata-rata precision dan recall di atas 0,98.Integrasi YOLO11 dan OpenCV terbukti efektif dalam mengenali frasa bahasa isyarat tangan BISINDO secara real-time, membuka peluang untuk pengembangan sistem komunikasi yang lebih inklusif.

Penelitian lanjutan dapat difokuskan pada peningkatan robustitas model terhadap variasi kondisi pencahayaan dan latar belakang, serta terhadap perbedaan gaya isyarat antar individu. Selain itu, perlu dilakukan pengembangan dataset yang lebih komprehensif dengan melibatkan lebih banyak partisipan dan variasi gestur, termasuk gestur yang lebih kompleks dan ekspresif. Pengembangan aplikasi mobile yang terintegrasi dengan model YOLO11 dan OpenCV juga dapat menjadi arah penelitian yang menarik, sehingga sistem pengenalan bahasa isyarat dapat diakses secara luas oleh masyarakat, terutama bagi penyandang tunarungu dan tunawicara. Penelitian ini juga dapat diperluas dengan mengintegrasikan pengenalan bahasa isyarat dengan teknologi augmented reality (AR) untuk menciptakan pengalaman komunikasi yang lebih interaktif dan intuitif, serta mengembangkan sistem yang mampu menerjemahkan bahasa isyarat ke dalam teks atau suara secara otomatis, sehingga memfasilitasi komunikasi antara penyandang tunarungu dan orang yang tidak memahami bahasa isyarat.

  1. Deteksi Rambu Lalu Lintas Real-Time di Indonesia dengan Penerapan YOLOv11: Solusi Untuk Keamanan Berkendara... jurnal.itg.ac.id/index.php/algoritma/article/view/2106Deteksi Rambu Lalu Lintas Real Time di Indonesia dengan Penerapan YOLOv11 Solusi Untuk Keamanan Berkendara jurnal itg ac index php algoritma article view 2106
  2. International Journal of Multidisciplinary Studies and Innovative Technologies » Submission »... doi.org/10.36287/ijmsit.6.1.61International Journal of Multidisciplinary Studies and Innovative Technologies A Submission A doi 10 36287 ijmsit 6 1 61
Read online
File size785.35 KB
Pages13
DMCAReport

Related /

ads-block-test