JURNALITPJURNALITP

Jurnal Informatika dan Teknologi PendidikanJurnal Informatika dan Teknologi Pendidikan

Ulasan konsumen di platform e-commerce mengandung informasi berharga mengenai persepsi pasar terhadap produk teknologi. Penelitian ini mengusulkan sistem Aspect-Based Sentiment Analysis (ABSA) pada ulasan VGA NVIDIA GeForce RTX 5060 dari platform Tokopedia, Shopee, dan YouTube menggunakan metode Complement Naive Bayes (CNB) dengan representasi fitur TF-IDF bigram. Kontribusi utama meliputi: (1) pipeline pengumpulan data multi-platform yang menghasilkan 4.675 ulasan asli, diperkaya melalui augmentasi data menjadi 4.982 ulasan; (2) peningkatan kualitas label menggunakan Large Language Model Llama 3.1 melalui Groq API yang mencapai agreement rate 79,9% (Cohens Kappa = 0,699), dengan 20,1% label berbeda dari pendekatan keyword-based; (3) augmentasi data menggunakan Easy Data Augmentation (EDA) untuk menyeimbangkan distribusi kelas menjadi hampir merata (Positif 33,5%; Netral 32,7%; Negatif 33,8%); serta (4) identifikasi lima aspek ulasan: Harga, Kualitas Produk, Performa, Pengiriman, dan Pelayanan Toko. Model CNB global mencapai akurasi 77,4% dengan F1-Score weighted 77,3%. Rata-rata akurasi ABSA per aspek mencapai 91,9% dengan rata-rata F1-Score 92,5%, dengan performa tertinggi pada aspek Harga (95,4%) dan terendah pada aspek Performa (86,7%). Hasil ini menunjukkan efektivitas integrasi LLM dalam proses pelabelan data untuk meningkatkan kualitas sistem ABSA berbasis Naive Bayes.

Penelitian ini berhasil mengimplementasikan sistem Aspect-Based Sentiment Analysis pada ulasan VGA RTX 5060 dengan Complement Naive Bayes serta peningkatan kualitas label menggunakan Large Language Model, menghasilkan akurasi global 77,4% dan rata‑rata akurasi ABSA per aspek 91,9%.Validasi lintas domain pada RTX 4060 mengungkapkan penurunan signifikan performa global (menjadi 47,05%), namun klasifikasi per aspek tetap lebih baik dengan akurasi rata‑rata 66,61%, terutama pada aspek Pengiriman.Penelitian lanjutan disarankan untuk mengeksplorasi model berbasis transformer seperti IndoBERT serta memperluas jumlah aspek dan melakukan validasi lintas domain lebih luas.

Penelitian selanjutnya dapat menyelidiki efektivitas model berbasis transformer, khususnya IndoBERT, dalam melakukan Aspect‑Based Sentiment Analysis pada ulasan produk teknologi berbahasa Indonesia, dengan membandingkan kinerjanya terhadap Complement Naive Bayes yang telah diuji pada GPU RTX 5060. Selanjutnya, diperlukan studi yang memperluas cakupan aspek yang dianalisis, misalnya menambahkan aspek seperti dukungan purna jual, kompatibilitas perangkat lunak, dan keamanan, untuk mengevaluasi bagaimana peningkatan jumlah aspek memengaruhi akurasi dan ketahanan model pada dataset beragam. Terakhir, penting untuk melakukan validasi lintas domain yang lebih luas, tidak hanya pada generasi GPU berikutnya, tetapi juga pada produk lain seperti laptop, smartphone, atau perangkat IoT, guna menguji kemampuan generalisasi model ABSA serta mengidentifikasi strategi augmentasi atau penyesuaian fitur yang dapat memperbaiki performa pada konteks harga dan terminologi yang berbeda. Selain itu, penelitian dapat mengeksplorasi kombinasi teknik augmentasi teks seperti Easy Data Augmentation dengan teknik oversampling sintetis seperti SMOTE untuk menentukan kombinasi optimal yang menyeimbangkan kelas tanpa menurunkan kualitas fitur teks.

  1. Improved Accuracy of Sentiment Analysis Movie Review Using Support Vector Machine Based Information Gain... doi.org/10.1088/1742-6596/1641/1/012060Improved Accuracy of Sentiment Analysis Movie Review Using Support Vector Machine Based Information Gain doi 10 1088 1742 6596 1641 1 012060
  2. Text classification algorithm of tourist attractions subcategories with modified TF-IDF and Word2Vec... doi.org/10.1371/journal.pone.0305095Text classification algorithm of tourist attractions subcategories with modified TF IDF and Word2Vec doi 10 1371 journal pone 0305095
Read online
File size635.78 KB
Pages12
DMCAReport

Related /

ads-block-test