JURNALITPJURNALITP

Jurnal Informatika dan Teknologi PendidikanJurnal Informatika dan Teknologi Pendidikan

Roblox merupakan salah satu platform permainan daring yang paling banyak digunakan di Indonesia, menghasilkan volume ulasan berbahasa Indonesia yang besar dan terus bertambah di Google Play Store. Kajian terdahulu umumnya hanya menetapkan satu label sentimen tunggal per ulasan tanpa diferensiasi aspek. Penelitian ini mengimplementasikan Aspect-Based Sentiment Analysis (ABSA) menggunakan model IndoBERT yang di‑fine‑tune secara independen untuk empat aspek: teknis, sistem, konten, dan sosial. Dataset terdiri dari 3.619 ulasan berlabel menggunakan strategi anotasi hibrida antara model Llama‑4‑Scout‑17B dan verifikasi manual. Kelangkaan kelas netral diatasi dengan membangkitkan 550 sampel sintetis melalui Llama 3.3 70B. Hasil eksperimen menunjukkan rata‑rata F1‑Macro meningkat dari 0,5739 menjadi 0,8550 pasca‑augmentasi, seluruh aspek melampaui ambang 0,80 dan mengungguli baseline XLM‑RoBERTa (0,8035). Ablation study mengkonfirmasi augmentasi data sebagai komponen terpenting, terkonfirmasi secara statistik melalui McNemars Test (p < 0,05). Analisis LIME mengungkap pola kebahasaan kontekstual, sedangkan analisis error mengidentifikasi kelemahan pada kelas minoritas. Sentimen distribusi menunjukkan Aspek Sistem paling banyak mendapat ulasan negatif (93,8 %), sementara Aspek Konten paling banyak mendapat apresiasi positif (86,3 %). Penelitian ini memvalidasi efektivitas kombinasi IndoBERT dengan augmentasi berbasis LLM untuk analisis sentimen multidimensi pada ulasan game berbahasa Indonesia.

Penelitian ini membuktikan bahwa IndoBERT yang di‑fine‑tune per aspek dan diperkaya dengan augmentasi data berbasis LLM secara signifikan meningkatkan kinerja ABSA pada ulasan game Roblox berbahasa Indonesia, dengan rata‑rata F1‑Macro naik hampir 49 % dan mengungguli baseline XLM‑RoBERTa.Analisis distribusi sentimen mengungkap bahwa aspek Sistem paling negatif (93,8 %) dan aspek Konten paling positif (86,3 %), serta hierarki komponen menunjukkan pentingnya augmentasi dibandingkan arsitektur dan pembobotan kelas.Penelitian lanjutan disarankan untuk mengeksplorasi model IndoBERT‑large atau XLM‑RoBERTa‑large, memperluas augmentasi ke semua kelas minoritas, serta mengembangkan sistem pemantauan sentimen secara real‑time dengan melibatkan lebih banyak annotator untuk meningkatkan konsistensi pelabelan.

Penelitian selanjutnya dapat menyelidiki apakah penggunaan model IndoBERT‑large atau XLM‑RoBERTa‑large dapat lebih meningkatkan akurasi ABSA pada ulasan game berbahasa Indonesia, dengan menguji skenario fine‑tuning multi‑aspek pada arsitektur yang lebih dalam. Selain itu, penting untuk mengeksplorasi strategi augmentasi yang mencakup semua kelas minoritas, bukan hanya kelas netral, guna menilai dampak peningkatan representasi data pada performa model serta stabilitas prediksi pada sentimen negatif dan positif. Selanjutnya, pengembangan platform pemantauan sentimen secara real‑time yang dapat memproses ulasan baru secara berkelanjutan dan memberikan visualisasi dinamis kepada pengembang harus dipertimbangkan, sambil memperluas tim anotasi dengan beberapa annotator untuk meningkatkan reliabilitas inter‑rater dan mengurangi bias labeling.

  1. Sentiment analysis of Indonesian reviews using fine-tuning IndoBERT and R-CNN | Jayadianti | ILKOM Jurnal... jurnal.fikom.umi.ac.id/index.php/ILKOM/article/view/1505Sentiment analysis of Indonesian reviews using fine tuning IndoBERT and R CNN Jayadianti ILKOM Jurnal jurnal fikom umi ac index php ILKOM article view 1505
  2. PREDIKSI PRESTASI AKADEMIK MAHASISWA MENGGUNAKAN ALGORITMA RANDOM FOREST DAN C4.5 | Linawati | Jurnal... ejournal.bsi.ac.id/ejurnal/index.php/khatulistiwa/article/view/7827PREDIKSI PRESTASI AKADEMIK MAHASISWA MENGGUNAKAN ALGORITMA RANDOM FOREST DAN C4 5 Linawati Jurnal ejournal bsi ac ejurnal index php khatulistiwa article view 7827
  3. IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding - ACL Anthology.... aclanthology.org/2020.aacl-main.85IndoNLU Benchmark and Resources for Evaluating Indonesian Natural Language Understanding ACL Anthology aclanthology 2020 aacl main 85
Read online
File size736.97 KB
Pages14
DMCAReport

Related /

ads-block-test