UNESAUNESA
Journal of Informatics and Computer Science (JINACS)Journal of Informatics and Computer Science (JINACS)Akses informasi akademik di Universitas Negeri Surabaya (UNESA) melalui website panduan saat ini dinilai belum optimal karena kurangnya interaktivitas, sehingga mahasiswa seringkali harus menghubungi pihak administrasi secara langsung. Penelitian ini bertujuan untuk melakukan evaluasi kinerja Retrieval-Augmented Generation (RAG), yaitu RAG Klasik guna menguji kinerja sistem dalam menghasilkan respon yang relevan, akurat, dan kontekstual pada chatbot akademik. Lingkup penelitian ini difokuskan pada pengujian evaluasi kinerja dan efisiensi metode tersebut dalam mengolah data multimodal yang bersumber dari portal SSO UNESA, mencakup format teks, gambar, dan dokumen PDF.
Penelitian ini menyimpulkan bahwa RAG Klasik sangat ideal untuk informasi prosedural yang membutuhkan respon instan meskipun memiliki keterbatasan dalam pemahaman semantic yang mendalam.Hasil penelitian menunjukkan bahwa RAG Klasik memiliki efisiensi luar biasa dengan waktu respon rata-rata dibawah 0,01 detik.Namun, dari sisi kinerja, metode ini sangat bergantung pada kualitas pelabelan.
Berdasarkan hasil penelitian, terdapat beberapa arah pengembangan penelitian lanjutan yang menarik untuk dieksplorasi. Pertama, penelitian selanjutnya dapat menginvestigasi potensi penggabungan RAG Klasik dengan model bahasa generatif yang lebih canggih, seperti model berbasis transformer, untuk meningkatkan kemampuan pemahaman konteks dan menghasilkan jawaban yang lebih akurat dan relevan. Kedua, perlu dilakukan penelitian lebih lanjut mengenai strategi pelabelan data multimodal yang optimal, termasuk eksplorasi teknik semi-supervised learning atau active learning untuk mengurangi kebutuhan akan pelabelan manual yang intensif. Ketiga, pengembangan sistem dapat difokuskan pada integrasi dengan sumber data akademik yang lebih luas, seperti repositori skripsi dan disertasi, untuk memperkaya basis pengetahuan chatbot dan meningkatkan kemampuannya dalam menjawab pertanyaan-pertanyaan yang lebih kompleks.
- [2302.13971] LLaMA: Open and Efficient Foundation Language Models. llama open efficient foundation language... arxiv.org/abs/2302.139712302 13971 LLaMA Open and Efficient Foundation Language Models llama open efficient foundation language arxiv abs 2302 13971
- Integration Of NLP-Based Chatbot On University Academic Service System | Jurnal Komputer. integration... jurnal.geinrafflesia.com/index.php/JK/article/view/110Integration Of NLP Based Chatbot On University Academic Service System Jurnal Komputer integration jurnal geinrafflesia index php JK article view 110
- PERBANDINGAN KINERJA WORD EMBEDDING WORD2VEC, GLOVE, DAN FASTTEXT PADA KLASIFIKASI TEKS | Nurdin | Jurnal... ejurnal.teknokrat.ac.id/index.php/teknokompak/article/view/732PERBANDINGAN KINERJA WORD EMBEDDING WORD2VEC GLOVE DAN FASTTEXT PADA KLASIFIKASI TEKS Nurdin Jurnal ejurnal teknokrat ac index php teknokompak article view 732
| File size | 459.85 KB |
| Pages | 5 |
| DMCA | Report |
Related /
UMIUMI 48, dan yang terakhir variabel kualitas kegunaan dengan rata-rata -0. 36. Hasil IPA memperlihatkan bahwa menurut keseluruhan indeks yang memerlukan pembetulan48, dan yang terakhir variabel kualitas kegunaan dengan rata-rata -0. 36. Hasil IPA memperlihatkan bahwa menurut keseluruhan indeks yang memerlukan pembetulan
UMIUMI Pengujian antarmuka dengan tools Selenium IDE menunjukkan hasil positif, namun terdapat masalah dalam proses pendaftaran bootcamp. Pengujian beban danPengujian antarmuka dengan tools Selenium IDE menunjukkan hasil positif, namun terdapat masalah dalam proses pendaftaran bootcamp. Pengujian beban dan
UNESAUNESA Hasil pengujian Blackbox Testing menunjukkan seluruh skenario pengujian dari sisi administrator dan peserta lulus 100%, sedangkan pengujian nonfungsionalHasil pengujian Blackbox Testing menunjukkan seluruh skenario pengujian dari sisi administrator dan peserta lulus 100%, sedangkan pengujian nonfungsional
UNESAUNESA Selain layanan yang dipersonalisasi melalui CRM, meningkatkan kesetiaan Posyandu dan kepercayaan masyarakat. Ini memberi kader Posyandu kesempatan untukSelain layanan yang dipersonalisasi melalui CRM, meningkatkan kesetiaan Posyandu dan kepercayaan masyarakat. Ini memberi kader Posyandu kesempatan untuk
UINFASBENGKULUUINFASBENGKULU Penelitian ini memberikan temuan baru mengenai pentingnya aspek kenyamanan dan harga dalam menentukan kepuasan konsumen di wilayah desa. Novelty dari penelitianPenelitian ini memberikan temuan baru mengenai pentingnya aspek kenyamanan dan harga dalam menentukan kepuasan konsumen di wilayah desa. Novelty dari penelitian
UNRAMUNRAM Manajemen yang efektif merupakan aspek krusial dalam dinamika operasional lembaga pendidikan. Penelitian ini bertujuan mengembangkan Sistem Informasi ManajemenManajemen yang efektif merupakan aspek krusial dalam dinamika operasional lembaga pendidikan. Penelitian ini bertujuan mengembangkan Sistem Informasi Manajemen
UNDHIRA BALIUNDHIRA BALI Kendala signifikan ditemukan pada aspek Technology terkait masalah jaringan dan perangkat keras, namun secara keseluruhan SIMRS memberikan manfaat positifKendala signifikan ditemukan pada aspek Technology terkait masalah jaringan dan perangkat keras, namun secara keseluruhan SIMRS memberikan manfaat positif
SAINSSAINS Komponen organisasi (Organization) dukungan pimpinan dan pegawai berjalan dengan baik namun dari segi fasilitas perlu ditambah. Komponen teknologi (Technology)Komponen organisasi (Organization) dukungan pimpinan dan pegawai berjalan dengan baik namun dari segi fasilitas perlu ditambah. Komponen teknologi (Technology)
Useful /
UNESAUNESA Secara keseluruhan, Uji-KAN memiliki usability sangat baik dan layak diimplementasikan. Penerapan metode Design Thinking membuat proses perancangan berjalanSecara keseluruhan, Uji-KAN memiliki usability sangat baik dan layak diimplementasikan. Penerapan metode Design Thinking membuat proses perancangan berjalan
UNESAUNESA Teknik waterfall adalah yang digunakan dalam penelitian ini. Perancangan Aplikasi Keluhan Masalah Psikologis terdiri dari berbagai langkah, termasuk analisisTeknik waterfall adalah yang digunakan dalam penelitian ini. Perancangan Aplikasi Keluhan Masalah Psikologis terdiri dari berbagai langkah, termasuk analisis
UNESAUNESA Penelitian ini menyimpulkan bahwa sistem berbasis metode AHP efektif dalam membantu penentuan kelayakan penerima bansos secara objektif berdasarkan kriteriaPenelitian ini menyimpulkan bahwa sistem berbasis metode AHP efektif dalam membantu penentuan kelayakan penerima bansos secara objektif berdasarkan kriteria
UINFASBENGKULUUINFASBENGKULU Hasilnya menunjukkan bahwa manajemen zakat BAZNAS Sragen menerapkan prinsip transparansi, akuntabilitas, dan pemberdayaan mustahik melalui mekanisme penghimpunanHasilnya menunjukkan bahwa manajemen zakat BAZNAS Sragen menerapkan prinsip transparansi, akuntabilitas, dan pemberdayaan mustahik melalui mekanisme penghimpunan