ICSEJOURNALICSEJOURNAL
Journal of Computer Science and Engineering (JCSE)Journal of Computer Science and Engineering (JCSE)Pengembangan pemrosesan bahasa alami (NLP) berbasis transformer telah membawa kemajuan signifikan pada sistem penjawab pertanyaan (QA). Penelitian ini membandingkan tiga model utama, yaitu BERT, Sequence-to-Sequence (S2S), dan Generative Pretrained Transformer (GPT), dalam memahami dan menjawab pertanyaan berbasis konteks menggunakan dataset SQuAD 2.0 yang telah diterjemahkan ke dalam bahasa Indonesia. Penelitian ini menggunakan metode SEMMA (Sample, Explore, Modify, Model, Assess) untuk memastikan proses analisis berjalan secara sistematis dan efisien. Model diuji dengan metrik evaluasi exact match (EM), F1-score, dan ROUGE. Hasil menunjukkan bahwa BERT unggul dengan skor Exact Match 99,57 %, F1-score 99,57 %, ROUGE-1 97 %, ROUGE-2 30 %, dan ROUGE-L 97 %, melebihi kinerja model S2S dan GPT. Studi ini membuktikan bahwa BERT lebih efektif dalam memahami dan menangkap konteks bahasa Indonesia pada tugas QA. Penelitian ini memberikan penjelasan mengenai implementasi QA berbasis bahasa Indonesia dan dapat menjadi referensi dalam pengembangan sistem NLP yang lebih akurat dan efisien.
Berdasarkan hasil penelitian, model BERT memperoleh hasil terbaik dalam tugas penjawaban pertanyaan faktual menggunakan dataset SQuAD v2.0 berbahasa Indonesia, dengan nilai Exact Match dan F1‑score masing‑masing sebesar 99,57 % serta nilai ROUGE‑1 dan ROUGE‑L sebesar 97 %.Keunggulan BERT disebabkan oleh arsitektur perhatian dua arah yang lebih efektif dalam menangkap hubungan antar kata dibandingkan model S2S dan GPT.Model S2S menunjukkan kinerja lebih rendah pada pemahaman konteks, sementara GPT meskipun menghasilkan teks yang natural, kurang akurat dalam menjawab pertanyaan faktual.
Penelitian selanjutnya dapat menyelidiki bagaimana transfer lintas bahasa dapat meningkatkan kemampuan sistem QA berbahasa Indonesia dengan memanfaatkan model multibahasa besar dan korpus paralel untuk mengurangi kebutuhan data berlabel. Selain itu, studi dapat mengevaluasi teknik fine‑tuning parameter‑efisien yang lebih maju daripada LoRA, seperti AdapterFusion atau Prompt‑Tuning, untuk menurunkan konsumsi memori dan waktu pelatihan pada model BERT dan GPT tanpa mengorbankan akurasi pada dataset SQuAD‑Indonesia. Penelitian ketiga dapat mengembangkan model hibrida yang menggabungkan representasi bidirectional BERT dengan kemampuan generatif GPT, untuk meningkatkan keakuratan jawaban faktual sekaligus menghasilkan output yang lebih natural pada pertanyaan berlapis atau ambigu. Setiap pendekatan tersebut harus diuji secara komprehensif menggunakan metrik EM, F1, dan ROUGE serta analisis error mendalam, sehingga dapat memberikan panduan praktis bagi pengembangan sistem QA berbahasa Indonesia yang lebih efektif dan efisien. Dengan demikian, eksplorasi tersebut tidak hanya akan memperluas pemahaman ilmiah tentang adaptasi model bahasa besar pada bahasa Indonesia, tetapi juga berpotensi mempercepat penerapan QA cerdas dalam layanan publik, pendidikan, dan sektor bisnis.
- Complex Knowledge Base Question Answering: A Survey | IEEE Journals & Magazine | IEEE Xplore. complex... ieeexplore.ieee.org/document/9960856Complex Knowledge Base Question Answering A Survey IEEE Journals Magazine IEEE Xplore complex ieeexplore ieee document 9960856
- Transfer Learning in Natural Language Processing - ACL Anthology. transfer learning natural language... aclanthology.org/N19-5004Transfer Learning in Natural Language Processing ACL Anthology transfer learning natural language aclanthology N19 5004
- IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP - ACL Anthology.... aclanthology.org/2020.coling-main.66IndoLEM and IndoBERT A Benchmark Dataset and Pre trained Language Model for Indonesian NLP ACL Anthology aclanthology 2020 coling main 66
| File size | 507.68 KB |
| Pages | 10 |
| DMCA | Report |
Related /
IRIBBIRIBB Hasil menunjukkan bahwa 100 kg TKKS dapat menghasilkan 32,67 kg kompos RDS dengan waktu proses 45,01 jam per batch. Skenario finansial, yang mencakup produkHasil menunjukkan bahwa 100 kg TKKS dapat menghasilkan 32,67 kg kompos RDS dengan waktu proses 45,01 jam per batch. Skenario finansial, yang mencakup produk
POLTEKATIPDGPOLTEKATIPDG Salah satu permasalahan utama pada stasiun pengolahan inti adalah kehilangan inti sawit (kernel losses) yang terjadi pada unit claybath. Penelitian iniSalah satu permasalahan utama pada stasiun pengolahan inti adalah kehilangan inti sawit (kernel losses) yang terjadi pada unit claybath. Penelitian ini
ICSEJOURNALICSEJOURNAL Metode pengembangan mencakup tahap-tahap kritis, mulai dari pengumpulan data, pra-pemrosesan, augmentasi data, hingga modelling menggunakan transfer learningMetode pengembangan mencakup tahap-tahap kritis, mulai dari pengumpulan data, pra-pemrosesan, augmentasi data, hingga modelling menggunakan transfer learning
ICSEJOURNALICSEJOURNAL Vision impairment from cataract and glaucoma remains a leading global health challenge, with 2. 2 billion people affected worldwide and Indonesia registeringVision impairment from cataract and glaucoma remains a leading global health challenge, with 2. 2 billion people affected worldwide and Indonesia registering
UPNYKUPNYK Maka dari itu pemerintah membentuk program biodiesel untuk mengurangi penggunaan bahan bakar fosil (solar) yang selama ini diimpor dari negara lain. MakaMaka dari itu pemerintah membentuk program biodiesel untuk mengurangi penggunaan bahan bakar fosil (solar) yang selama ini diimpor dari negara lain. Maka
IRPIIRPI Banyak pilihan dengan beragam spesifikasi dan harga yang bervariasi membuat masyarakat bingung dalam memilih telepon seluler untuk pembelajaran online.Banyak pilihan dengan beragam spesifikasi dan harga yang bervariasi membuat masyarakat bingung dalam memilih telepon seluler untuk pembelajaran online.
PUSDIKRA PUBLISHINGPUSDIKRA PUBLISHING Solusi yang sedang dicoba ditawarkan adalah dengan melakukan inovasi digital berbasis e-learning. Pembaruan dengan menggunakan e-learning, sehingga pembelajaranSolusi yang sedang dicoba ditawarkan adalah dengan melakukan inovasi digital berbasis e-learning. Pembaruan dengan menggunakan e-learning, sehingga pembelajaran
UADUAD Salah satu ciri khas waralaba adalah adanya royalty, yaitu pembagian keuntungan antar franchisor dan franchisee dengan ketentuan yang telah disepakatiSalah satu ciri khas waralaba adalah adanya royalty, yaitu pembagian keuntungan antar franchisor dan franchisee dengan ketentuan yang telah disepakati
Useful /
IRIBBIRIBB Sebagian besar ditemukan bersifat asam, hidrofilik, dan terutama terlokalisasi di sitoplasma, konsisten dengan peran mereka sebagai chaperone molekuler.Sebagian besar ditemukan bersifat asam, hidrofilik, dan terutama terlokalisasi di sitoplasma, konsisten dengan peran mereka sebagai chaperone molekuler.
IRPIIRPI This research employed qualitative and quantitative approaches, utilizing the Extreme Programming (XP) method to develop a web-based Geographic InformationThis research employed qualitative and quantitative approaches, utilizing the Extreme Programming (XP) method to develop a web-based Geographic Information
UNIKOMUNIKOM Hasil pengujian menunjukkan bahwa nilai galat deteksi jarak rintangan berkisar antara 1,2% hingga 4,1%, yang dianggap memadai mengingat kompleksitas lingkunganHasil pengujian menunjukkan bahwa nilai galat deteksi jarak rintangan berkisar antara 1,2% hingga 4,1%, yang dianggap memadai mengingat kompleksitas lingkungan
IRPIIRPI Monitoring the output parameters of solar panels is very necessary to assess the performance of a solar panel when changing the intensity of sunlight.Monitoring the output parameters of solar panels is very necessary to assess the performance of a solar panel when changing the intensity of sunlight.