UNESAUNESA

Journal of Informatics and Computer Science (JINACS)Journal of Informatics and Computer Science (JINACS)

Akses informasi akademik di Universitas Negeri Surabaya (UNESA) melalui website panduan saat ini dinilai belum optimal karena kurangnya interaktivitas, sehingga mahasiswa seringkali harus menghubungi pihak administrasi secara langsung. Penelitian ini bertujuan untuk melakukan evaluasi kinerja Retrieval-Augmented Generation (RAG), yaitu RAG Klasik guna menguji kinerja sistem dalam menghasilkan respon yang relevan, akurat, dan kontekstual pada chatbot akademik. Lingkup penelitian ini difokuskan pada pengujian evaluasi kinerja dan efisiensi metode tersebut dalam mengolah data multimodal yang bersumber dari portal SSO UNESA, mencakup format teks, gambar, dan dokumen PDF.

Penelitian ini menyimpulkan bahwa RAG Klasik sangat ideal untuk informasi prosedural yang membutuhkan respon instan meskipun memiliki keterbatasan dalam pemahaman semantic yang mendalam.Hasil penelitian menunjukkan bahwa RAG Klasik memiliki efisiensi luar biasa dengan waktu respon rata-rata dibawah 0,01 detik.Namun, dari sisi kinerja, metode ini sangat bergantung pada kualitas pelabelan.

Berdasarkan hasil penelitian, terdapat beberapa arah pengembangan penelitian lanjutan yang menarik untuk dieksplorasi. Pertama, penelitian selanjutnya dapat menginvestigasi potensi penggabungan RAG Klasik dengan model bahasa generatif yang lebih canggih, seperti model berbasis transformer, untuk meningkatkan kemampuan pemahaman konteks dan menghasilkan jawaban yang lebih akurat dan relevan. Kedua, perlu dilakukan penelitian lebih lanjut mengenai strategi pelabelan data multimodal yang optimal, termasuk eksplorasi teknik semi-supervised learning atau active learning untuk mengurangi kebutuhan akan pelabelan manual yang intensif. Ketiga, pengembangan sistem dapat difokuskan pada integrasi dengan sumber data akademik yang lebih luas, seperti repositori skripsi dan disertasi, untuk memperkaya basis pengetahuan chatbot dan meningkatkan kemampuannya dalam menjawab pertanyaan-pertanyaan yang lebih kompleks.

  1. [2302.13971] LLaMA: Open and Efficient Foundation Language Models. llama open efficient foundation language... arxiv.org/abs/2302.139712302 13971 LLaMA Open and Efficient Foundation Language Models llama open efficient foundation language arxiv abs 2302 13971
  2. Integration Of NLP-Based Chatbot On University Academic Service System | Jurnal Komputer. integration... jurnal.geinrafflesia.com/index.php/JK/article/view/110Integration Of NLP Based Chatbot On University Academic Service System Jurnal Komputer integration jurnal geinrafflesia index php JK article view 110
  3. PERBANDINGAN KINERJA WORD EMBEDDING WORD2VEC, GLOVE, DAN FASTTEXT PADA KLASIFIKASI TEKS | Nurdin | Jurnal... ejurnal.teknokrat.ac.id/index.php/teknokompak/article/view/732PERBANDINGAN KINERJA WORD EMBEDDING WORD2VEC GLOVE DAN FASTTEXT PADA KLASIFIKASI TEKS Nurdin Jurnal ejurnal teknokrat ac index php teknokompak article view 732
Read online
File size459.85 KB
Pages5
DMCAReport

Related /

ads-block-test