Publisher

UNITOMOUNITOMO

Journal Inform: Jurnal Ilmiah Bidang Teknologi Informasi dan KomunikasiInform: Jurnal Ilmiah Bidang Teknologi Informasi dan Komunikasi Abstract

Kebutuhan akan sistem identifikasi siswa yang efisien mendorong kemajuan dalam teknologi pengenalan wajah dan deteksi emosi. Penelitian ini memperkenalkan sistem berbasis satu foto yang mengintegrasikan YOLOv8 untuk deteksi wajah dan FaceNet untuk menghasilkan embedding wajah unik, sehingga memastikan identifikasi siswa dengan presisi tinggi serta deteksi emosi yang konsisten di berbagai kondisi. YOLOv8 memposisikan wajah dalam gambar, sementara FaceNet memprosesnya untuk menghasilkan embedding guna pengenalan. Deteksi emosi dilakukan menggunakan embedding tersebut atau model klasifikasi emosi tambahan. Metodologi meliputi pra‑proses gambar menjadi format grayscale 64×64, augmentasi data untuk meningkatkan generalisasi model, dan evaluasi kinerja menggunakan metrik akurasi, presisi, recall, dan F1‑score. Dataset eksperimental terdiri dari 10 foto formal siswa, dengan pengujian pada 100 gambar. Hasil menunjukkan akurasi 94 % pada sistem pengenalan wajah dengan augmentasi, melampaui 92 % tanpa augmentasi, serta akurasi deteksi emosi 95 % dalam mengidentifikasi tujuh emosi (marah, senang, sedih, netral, takut, jijik, dan terkejut) meski terdapat variasi ekspresi, pencahayaan, dan sudut. Sistem ini menawarkan solusi terukur dan efisien untuk aplikasi pendidikan seperti otomatisasi identifikasi siswa, pemantauan kehadiran, dan manajemen pembelajaran berbasis emosi, dengan potensi jangka pendek dalam otomatisasi kehadiran dan pemantauan kesehatan mental, jangka menengah dalam pembelajaran terpersonalisasi dan keamanan kampus, serta jangka panjang dalam kemajuan pendidikan berbasis AI sambil mengatasi tantangan privasi dan penerimaan sosial.

Conclusion

Integrasi model FaceNet dan YOLOv8 memberikan solusi pengenalan wajah dan deteksi emosi yang efisien dan akurat pada sistem identifikasi siswa, mencapai akurasi 94 % untuk pengenalan wajah dan 95 % untuk deteksi emosi.Augmentasi image terbukti penting untuk meningkatkan generalisasi model, khususnya pada pengenalan wajah, sedangkan deteksi emosi tetap stabil meski variasi data.Rekomendasi pengembangan selanjutnya meliputi peningkatan efisiensi komputasi dan pengurangan kompleksitas sistem, serta optimalisasi strategi augmentasi untuk memperkuat ketahanan model.

Future Research

Penelitian selanjutnya dapat mengeksplorasi penggunaan arsitektur YOLOv8 yang lebih ringan, seperti YOLOv8‑Nano, untuk mengurangi beban komputasi pada perangkat dengan sumber daya terbatas, dan menguji performanya secara real‑time di lingkungan kampus. Selain itu, studi dapat menambahkan dataset multibahasa dan multi‑kultur guna meningkatkan generalisasi model FaceNet dan deteksi emosi di berbagai populasi siswa, serta menghitung variasi emosional yang lebih luas. Terakhir, penelitian berikutnya dapat mengimplementasikan modul transfer learning yang memanfaatkan data sensor tambahan (misalnya, data mikrofon atau sensor fisiologis) guna memperkaya konteks emosional siswa, sehingga sistem dapat memprediksi kondisi belajar secara lebih holistik dan memberikan rekomendasi intervensi belajar secara personal.

Metadata

File size	605.5 KB
Pages	11
DMCA	Report