ICSEJOURNALICSEJOURNAL
Journal of Computer Science and Engineering (JCSE)Journal of Computer Science and Engineering (JCSE)Pengembangan pemrosesan bahasa alami (NLP) berbasis transformer telah membawa kemajuan signifikan pada sistem penjawab pertanyaan (QA). Penelitian ini membandingkan tiga model utama, yaitu BERT, Sequence-to-Sequence (S2S), dan Generative Pretrained Transformer (GPT), dalam memahami dan menjawab pertanyaan berbasis konteks menggunakan dataset SQuAD 2.0 yang telah diterjemahkan ke dalam bahasa Indonesia. Penelitian ini menggunakan metode SEMMA (Sample, Explore, Modify, Model, Assess) untuk memastikan proses analisis berjalan secara sistematis dan efisien. Model diuji dengan metrik evaluasi exact match (EM), F1-score, dan ROUGE. Hasil menunjukkan bahwa BERT unggul dengan skor Exact Match 99,57 %, F1-score 99,57 %, ROUGE-1 97 %, ROUGE-2 30 %, dan ROUGE-L 97 %, melebihi kinerja model S2S dan GPT. Studi ini membuktikan bahwa BERT lebih efektif dalam memahami dan menangkap konteks bahasa Indonesia pada tugas QA. Penelitian ini memberikan penjelasan mengenai implementasi QA berbasis bahasa Indonesia dan dapat menjadi referensi dalam pengembangan sistem NLP yang lebih akurat dan efisien.
Berdasarkan hasil penelitian, model BERT memperoleh hasil terbaik dalam tugas penjawaban pertanyaan faktual menggunakan dataset SQuAD v2.0 berbahasa Indonesia, dengan nilai Exact Match dan F1‑score masing‑masing sebesar 99,57 % serta nilai ROUGE‑1 dan ROUGE‑L sebesar 97 %.Keunggulan BERT disebabkan oleh arsitektur perhatian dua arah yang lebih efektif dalam menangkap hubungan antar kata dibandingkan model S2S dan GPT.Model S2S menunjukkan kinerja lebih rendah pada pemahaman konteks, sementara GPT meskipun menghasilkan teks yang natural, kurang akurat dalam menjawab pertanyaan faktual.
Penelitian selanjutnya dapat menyelidiki bagaimana transfer lintas bahasa dapat meningkatkan kemampuan sistem QA berbahasa Indonesia dengan memanfaatkan model multibahasa besar dan korpus paralel untuk mengurangi kebutuhan data berlabel. Selain itu, studi dapat mengevaluasi teknik fine‑tuning parameter‑efisien yang lebih maju daripada LoRA, seperti AdapterFusion atau Prompt‑Tuning, untuk menurunkan konsumsi memori dan waktu pelatihan pada model BERT dan GPT tanpa mengorbankan akurasi pada dataset SQuAD‑Indonesia. Penelitian ketiga dapat mengembangkan model hibrida yang menggabungkan representasi bidirectional BERT dengan kemampuan generatif GPT, untuk meningkatkan keakuratan jawaban faktual sekaligus menghasilkan output yang lebih natural pada pertanyaan berlapis atau ambigu. Setiap pendekatan tersebut harus diuji secara komprehensif menggunakan metrik EM, F1, dan ROUGE serta analisis error mendalam, sehingga dapat memberikan panduan praktis bagi pengembangan sistem QA berbahasa Indonesia yang lebih efektif dan efisien. Dengan demikian, eksplorasi tersebut tidak hanya akan memperluas pemahaman ilmiah tentang adaptasi model bahasa besar pada bahasa Indonesia, tetapi juga berpotensi mempercepat penerapan QA cerdas dalam layanan publik, pendidikan, dan sektor bisnis.
- Complex Knowledge Base Question Answering: A Survey | IEEE Journals & Magazine | IEEE Xplore. complex... ieeexplore.ieee.org/document/9960856Complex Knowledge Base Question Answering A Survey IEEE Journals Magazine IEEE Xplore complex ieeexplore ieee document 9960856
- Transfer Learning in Natural Language Processing - ACL Anthology. transfer learning natural language... aclanthology.org/N19-5004Transfer Learning in Natural Language Processing ACL Anthology transfer learning natural language aclanthology N19 5004
- IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP - ACL Anthology.... aclanthology.org/2020.coling-main.66IndoLEM and IndoBERT A Benchmark Dataset and Pre trained Language Model for Indonesian NLP ACL Anthology aclanthology 2020 coling main 66
| File size | 507.68 KB |
| Pages | 10 |
| DMCA | Report |
Related /
ICSEJOURNALICSEJOURNAL From the stages of collecting, processing data and testing formulations using the LINDO application, it was discovered that under ideal conditions thereFrom the stages of collecting, processing data and testing formulations using the LINDO application, it was discovered that under ideal conditions there
POLTEKATIPDGPOLTEKATIPDG Secara umum, nilai kehilangan kernel masih berada di bawah standar maksimum pabrik sebesar 3%, sehingga kinerja alat claybath di PT. XYZ masih tergolongSecara umum, nilai kehilangan kernel masih berada di bawah standar maksimum pabrik sebesar 3%, sehingga kinerja alat claybath di PT. XYZ masih tergolong
YRPIPKUYRPIPKU Cangkang sawit memiliki potensi sebagai biomassa dan sumber energi terbarukan yang dipilih berdasarkan pertimbangan strategis, teknis, dan lingkungan.Cangkang sawit memiliki potensi sebagai biomassa dan sumber energi terbarukan yang dipilih berdasarkan pertimbangan strategis, teknis, dan lingkungan.
IPBIPB Kerusakan lingkungan akibat produksi kelapa sawit tetap menjadi isu global yang mendesak, mendorong gangguan ekosistem dan konflik sosial. Masyarakat lokal,Kerusakan lingkungan akibat produksi kelapa sawit tetap menjadi isu global yang mendesak, mendorong gangguan ekosistem dan konflik sosial. Masyarakat lokal,
SUBSETSUBSET Hasil evaluation menunjukkan bahwa model BERT mampu mengklasifikasikan sentimen dengan accuracy sebesar 84%, serta nilai precision, recall, dan F1-scoreHasil evaluation menunjukkan bahwa model BERT mampu mengklasifikasikan sentimen dengan accuracy sebesar 84%, serta nilai precision, recall, dan F1-score
ICSEJOURNALICSEJOURNAL Model EfficientNetV2B0 yang dikembangkan menunjukkan kinerja sangat baik dalam klasifikasi parasit malaria, dengan akurasi 96%. Hasil penelitian menunjukkanModel EfficientNetV2B0 yang dikembangkan menunjukkan kinerja sangat baik dalam klasifikasi parasit malaria, dengan akurasi 96%. Hasil penelitian menunjukkan
ICSEJOURNALICSEJOURNAL The resulting TensorFlow-saved model is deployed in the browser via TensorFlow. js, enabling real-time, platform-agnostic inference without specializedThe resulting TensorFlow-saved model is deployed in the browser via TensorFlow. js, enabling real-time, platform-agnostic inference without specialized
SEMINAR IDSEMINAR ID Harga kelapa sawit yang sering naik turun setiap bulannya mengakibatkan ketidakstabilan pendapatan yang diterima oleh masyarakat yang memiliki kebun kelapaHarga kelapa sawit yang sering naik turun setiap bulannya mengakibatkan ketidakstabilan pendapatan yang diterima oleh masyarakat yang memiliki kebun kelapa
Useful /
UHTUHT Multifaktor yang berhubungan dengan derajat keparahan infeksi dengue pada anak adalah usia yang lebih muda, obesitas, status infeksi sekunder, genom virus,Multifaktor yang berhubungan dengan derajat keparahan infeksi dengue pada anak adalah usia yang lebih muda, obesitas, status infeksi sekunder, genom virus,
INDONESIAN EFL JOURNALINDONESIAN EFL JOURNAL Penelitian ini menunjukkan bahwa modul ESP yang dikembangkan khusus untuk karyawan front office di Batam memperoleh nilai rata‑rata 3,4 (sangat baik)Penelitian ini menunjukkan bahwa modul ESP yang dikembangkan khusus untuk karyawan front office di Batam memperoleh nilai rata‑rata 3,4 (sangat baik)
IPBIPB Penerapan model ini memberikan kontribusi positif terhadap proses pembelajaran yang lebih aktif dan kritis. Disarankan kepada guru untuk menerapkan modelPenerapan model ini memberikan kontribusi positif terhadap proses pembelajaran yang lebih aktif dan kritis. Disarankan kepada guru untuk menerapkan model
IPBIPB Hasil penelitian menunjukkan bahwa implementasi teknologi e-learning berdampak signifikan pada peningkatan keterlibatan dan kinerja belajar mahasiswa.Hasil penelitian menunjukkan bahwa implementasi teknologi e-learning berdampak signifikan pada peningkatan keterlibatan dan kinerja belajar mahasiswa.