Publisher

PUSTAKAGALERIMANDIRIPUSTAKAGALERIMANDIRI

Journal Jurnal Pustaka Data (Pusat Akses Kajian Database, Analisa Teknologi, dan Arsitektur Komputer)Jurnal Pustaka Data (Pusat Akses Kajian Database, Analisa Teknologi, dan Arsitektur Komputer) Abstract

Perundungan siber pada platform komunikasi daring menimbulkan dampak psikologis yang serius bagi korban, sementara mekanisme moderasi Discord saat ini masih bertumpu pada pelaporan manual yang tidak skalabel untuk menangani volume pesan yang besar. Penelitian ini bertujuan membangun sistem deteksi perundungan siber otomatis untuk pesan berbahasa Indonesia pada platform Discord sebagai solusi atas keterbatasan tersebut, menggunakan algoritma Multinomial Naïve Bayes dengan pembobotan TF-IDF. Sebanyak 71.591 pesan mentah diekstraksi dari empat server Discord dan dibersihkan menjadi 49.712 pesan. Kandidat perundungan disaring melalui empat tahap berlapis, yaitu pencocokan leksikon kata kasar, pemindaian pola frasa, penyaringan dibantu model, serta pemindaian penanda identitas, sehingga diperoleh 3.027 pesan berlabel dalam enam kelas. Data diproses melalui tujuh tahap praproses dan diklasifikasikan pada dua skema, yaitu enam kelas dan biner. Hasil pengujian menunjukkan akurasi 0,802 dengan macro-F1 0,531 pada skema enam kelas, serta akurasi 0,822 dengan macro-F1 0,687 pada skema biner. Validasi silang lima lipat menghasilkan hasil yang stabil (0,817 ± 0,010 dan 0,823 ± 0,014). Dibandingkan penebak kelas mayoritas, model meningkatkan macro-F1 sebesar 55,9 persen. Analisis kesalahan memperlihatkan 74,6 persen kekeliruan berupa pesan perundungan yang terlewat, sedangkan kekeliruan antar kategori hanya 0,8 persen. Uji ablasi membuktikan bahwa penyeimbangan kelas melalui penggandaan data justru menurunkan kinerja karena mendistorsi peluang awal. Dengan kinerja yang stabil dan tingkat kekeliruan antar kategori yang sangat rendah, sistem ini layak digunakan sebagai alat bantu moderator Discord untuk memprioritaskan pesan yang berpotensi mengandung perundungan, bukan sebagai penindak mandiri.

Conclusion

Penelitian ini berhasil membangun sistem deteksi perundungan siber pada pesan berbahasa Indonesia di platform Discord menggunakan Multinomial Naïve Bayes dengan pembobotan TF-IDF.Tahapan text mining yang terdiri atas tujuh langkah praproses terbukti mampu mengubah pesan yang sangat informal menjadi representasi fitur numerik yang dapat diklasifikasikan.Model memperoleh akurasi 0,822 dengan macro-F1 0,687 pada skema biner dan akurasi 0,802 dengan macro-F1 0,531 pada skema enam kelas, dengan hasil yang stabil pada validasi silang lima lipat.Dibandingkan penebak kelas mayoritas, model meningkatkan macro-F1 sebesar 55,9 persen.Pertama, penyaringan kandidat berlapis empat tahap terbukti lebih efektif daripada penyeimbangan buatan untuk menangani kelas minoritas, karena menambah keragaman kata dan bukan sekadar mengubah peluang awal.Kedua, penggandaan dokumen minoritas justru menurunkan kinerja secara tajam, sehingga asumsi metodologis semacam ini perlu diuji setiap kombinasi algoritma dan data.Ketiga, penempatan pembobotan TF-IDF di luar pipeline menghasilkan keuntungan semu sebesar 0,0340 pada macro-F1, sehingga pelaporan kinerja tanpa uji kebocoran data berpotensi menyesatkan.Kinerja yang diperoleh belum memadai untuk penerapan mandiri karena recall pada skema biner baru mencapai 0,386, sehingga sistem diposisikan sebagai alat bantu moderator, bukan sebagai penindak otomatis.

Future Research

Berdasarkan hasil penelitian, berikut adalah saran penelitian lanjutan: . . 1. Menambah data berlabel pada kelas ancaman, ujaran kebencian, dan pengucilan dari komunitas yang lebih beragam untuk meningkatkan representasi kelas minoritas dan meningkatkan akurasi model.. . 2. Meninjau ulang pengaturan ekstraksi fitur, seperti menurunkan ambang dokumen minimum, menambahkan n-gram karakter, dan mempertimbangkan emoji sebagai fitur untuk meningkatkan representasi fitur dan akurasi model.. . 3. Menetapkan satu pembagian data uji yang sama untuk kedua skema agar perbandingan antarskema lebih setara dan dapat dibandingkan secara langsung.. . 4. Membandingkan Naïve Bayes dengan algoritma lain pada data dan pembagian yang sama disertai uji signifikansi statistik untuk menentukan algoritma terbaik untuk deteksi cyberbullying.. . 5. Melibatkan anotator tambahan untuk mengukur tingkat kesepakatan antaranotator dan meningkatkan keandalan label data.. . 6. Menyeimbangkan penyaringan berbantuan model dengan pengambilan sampel acak serta menyusun strategi penyaringan khusus bagi kelas pelecehan untuk meningkatkan akurasi model dalam mendeteksi kelas ini.. . 7. Menerapkan sistem sebagai alat bantu moderasi dengan pengawasan manusia, seperti menurunkan ambang keputusan agar recall meningkat, dengan pesan bertanda ditempatkan sebagai daftar prioritas tinjauan moderator dan bukan sebagai penindak otomatis.

References

1. Client Challenge. client challenge javascript disabled browser please enable proceed required part site... link.springer.com/10.1007/s10207-022-00600-yClient Challenge client challenge javascript disabled browser please enable proceed required part site link springer 10 1007 s10207 022 00600 y
2. Aplikasi Pendeteksi Cyberbullying Terhadap Komentar Postingan Media Sosial Instagram dengan Metode Naïve... jurnal.untan.ac.id/index.php/justin/article/view/44843Aplikasi Pendeteksi Cyberbullying Terhadap Komentar Postingan Media Sosial Instagram dengan Metode Nayve jurnal untan ac index php justin article view 44843
3. Komparasi Algoritma Naïve Bayes dan SVM untuk Identifikasi Cyberbullying Selebriti di Media Sosial... jurnal.itg.ac.id/index.php/algoritma/article/view/2196Komparasi Algoritma Nayve Bayes dan SVM untuk Identifikasi Cyberbullying Selebriti di Media Sosial jurnal itg ac index php algoritma article view 2196

Metadata

File size	428.14 KB
Pages	11
DMCA	Report