Publisher

UNIMALUNIMAL

Journal Journal of Renewable Energy, Electrical, and Computer EngineeringJournal of Renewable Energy, Electrical, and Computer Engineering Abstract

Penelitian ini membandingkan efektivitas algoritma Random Forest dan Naïve Bayes dalam mengklasifikasikan pesan WhatsApp menjadi tiga kategori: pesan normal, promosi, dan penipuan. Dengan lebih dari 2,78 miliar pengguna aktif di seluruh dunia dan 90% pengguna internet di Indonesia yang memanfaatkan WhatsApp, enkripsi end-to-end platform tersebut menimbulkan tantangan untuk pendeteksian spam otomatis, sehingga diperlukan pendekatan machine learning. Sebuah dataset yang terdiri dari 300 pesan, didistribusikan secara merata di tiga kategori, mengalami pra-pengolahan yang meliputi pembersihan, case folding, penghapusan stopword, normalisasi, dan stemming sebelum dikonversi ke bentuk numerik menggunakan vektorisasi TF-IDF. Hasil eksperimen menunjukkan bahwa Naïve Bayes outperform Random Forest dengan akurasi yang lebih tinggi (88,67% vs 86,00%), presisi (89,64% vs 88,95%), recall (88,67% vs 86,00%), dan F1-score (88,61% vs 85,99%). Analisis cross-validation dengan validasi 10-fold lebih lanjut mengonfirmasi keunggulan Naïve Bayes dalam konsistensi dan stabilitas di seluruh metrik evaluasi. Selain itu, Naïve Bayes menunjukkan efisiensi komputasi yang luar biasa, hanya membutuhkan 0,13 detik untuk pelatihan dibandingkan dengan Random Forest yang membutuhkan 3,65 detik. Analisis matriks kebingungan mengungkapkan bahwa Naïve Bayes sangat efektif dalam membedakan antara pesan normal dan penipuan, yang sangat penting untuk mencegah pengguna menjadi korban penipuan. Model berhasil mengidentifikasi indikator penipuan kunci seperti klaim, akun, dan verifikasi sambil menunjukkan presisi dalam kasus ambigu. Temuan ini berkontribusi signifikan dalam mengembangkan sistem pendeteksi spam yang lebih efektif untuk platform pesan terenkripsi di mana mekanisme penyaringan tradisional tidak dapat diterapkan, akhirnya meningkatkan keselamatan dan pengalaman pengguna melalui identifikasi otomatis konten yang mungkin berbahaya.

Conclusion

Penelitian ini berhasil mengevaluasi dan membandingkan kinerja Naive Bayes dan algoritma Random Forest dalam mengklasifikasikan pesan WhatsApp menjadi tiga kategori.Hasil eksperimen menunjukkan bahwa algoritma Naive Bayes outperform Random Forest di semua metrik evaluasi dengan akurasi rata-rata 88,67% dibandingkan dengan Random Forest 86,00%.Model Naive Bayes juga unggul dalam presisi (89,64%), recall (88,67%), dan F1-score (88,61%), menunjukkan kemampuan superior dalam mengidentifikasi dan mengkategorikan pesan WhatsApp dengan benar.Analisis cross-validation lebih lanjut mengonfirmasi konsistensi dan stabilitas Naive Bayes, seperti yang ditunjukkan oleh standar deviasi yang lebih kecil dalam metrik kinerja di semua lipatan.Konsistensi ini sangat berharga dalam aplikasi dunia nyata di mana kinerja yang andal sangat penting.Selain itu, algoritma Naive Bayes menunjukkan efisiensi komputasi yang signifikan, hanya membutuhkan 0,13 detik untuk pelatihan dibandingkan dengan Random Forest 3,65 detik, membuatnya lebih cocok untuk penerapan di lingkungan sumber daya terbatas atau aplikasi yang memerlukan klasifikasi pesan waktu nyata.Analisis matriks kebingungan mengungkapkan bahwa Naive Bayes sangat efektif dalam membedakan antara pesan normal dan penipuan, yang sangat penting untuk mencegah pengguna menjadi korban penipuan atau upaya phishing.Kedua algoritma berhasil mengklasifikasikan pola penipuan yang jelas yang mengandung kata kunci seperti klaim, akun, dan verifikasi, tetapi Naive Bayes menunjukkan presisi yang lebih besar dalam kasus ambigu.Temuan ini berkontribusi pada pengembangan sistem pendeteksi spam yang lebih efektif untuk platform pesan terenkripsi seperti WhatsApp, di mana mekanisme penyaringan tradisional tidak dapat diterapkan karena enkripsi end-to-end.Implementasi model klasifikasi berbasis Naive Bayes dapat meningkatkan keselamatan dan pengalaman pengguna dengan mengidentifikasi secara otomatis pesan yang mungkin berbahaya.Penelitian masa depan harus fokus pada perluasan dataset dengan pola pesan yang lebih beragam, memasukkan fitur tambahan seperti panjang pesan dan karakteristik struktural, serta mengeksplorasi pendekatan hibrida yang menggabungkan kekuatan kedua algoritma untuk meningkatkan lebih lanjut kinerja klasifikasi.

Future Research

Berdasarkan hasil penelitian ini, berikut adalah saran penelitian lanjutan: Pertama, perluasan dataset dengan lebih banyak pesan yang beragam, termasuk pola penipuan yang lebih kompleks dan promosi yang lebih bervariasi, akan meningkatkan akurasi dan generalisasi model. Kedua, penelitian dapat mengeksplorasi fitur tambahan seperti panjang pesan, struktur kalimat, dan penggunaan kata-kata tertentu yang mungkin menjadi indikator penipuan atau promosi. Ketiga, pendekatan hibrida yang menggabungkan kekuatan Naive Bayes dan Random Forest dapat dikembangkan untuk meningkatkan kinerja klasifikasi, terutama dalam menangani pesan ambigu. Dengan menggabungkan algoritma ini, model dapat memanfaatkan keunggulan masing-masing algoritma dan meningkatkan akurasi secara keseluruhan. Penelitian lanjutan ini akan membantu mengembangkan sistem pendeteksi spam yang lebih andal dan akurat untuk platform pesan terenkripsi seperti WhatsApp, sehingga meningkatkan keselamatan dan pengalaman pengguna secara keseluruhan.

References

1. Comparison of Random Forest Algorithm Classifier and Naïve Bayes Algorithm in Whatsapp Message... doi.org/10.29103/jreece.v5i1.21227Comparison of Random Forest Algorithm Classifier and NayEAve Bayes Algorithm in Whatsapp Message doi 10 29103 jreece v5i1 21227

Metadata

File size	4.06 MB
Pages	9
DMCA	Report