UADUAD
Jurnal Sarjana Teknik Informatika (E-Journal)Jurnal Sarjana Teknik Informatika (E-Journal)Large Language Models (LLM) memerlukan metode tambahan untuk optimasi pada tugas spesifik seperti analisis sentimen. Penelitian ini membandingkan performa GPT-3.5 Turbo dan LLaMA-2 melalui penerapan metode Retrieval Augmented Few-shot (RAFS) pada domain pariwisata, dengan skenario Zero-shot sebagai baseline. Hasil eksperimen menunjukkan bahwa LLaMA-2 mengalami peningkatan performa yang jauh lebih signifikan dibandingkan GPT-3.5 Turbo setelah penerapan RAFS. Akurasi LLaMA-2 meningkat dari 0,833 menjadi 0,862, sementara GPT-3.5 Turbo hanya meningkat tipis dari 0,851 menjadi 0,856. Perbedaan substansial terlihat pada metrik kelas minoritas; f1-score GPT-3.5 hanya naik dari 0,555 ke 0,572, sedangkan LLaMA-2 melonjak drastis dari 0,462 ke 0,676 dengan kenaikan presisi dari 0,395 ke 0,844. Secara head-to-head, LLaMA-2 terbukti sedikit lebih unggul dibanding dengan GPT-3.5 Turbo dalam menghasilkan klasifikasi yang tepat dan seimbang. Meskipun GPT-3.5 memiliki baseline awal yang lebih tinggi, LLaMA-2 menunjukkan kemampuan adaptasi dan skalabilitas yang lebih baik terhadap augmentasi konteks. Temuan ini menegaskan bahwa model open-source dengan dukungan RAFS mampu menyamai, bahkan melampaui model proprieter dalam menangani kompleksitas sentimen ulasan pelanggan.
Penelitian ini berhasil mengimplementasikan metode RAFS pada model GPT-3.5 Turbo dan LLaMA-2 untuk analisis sentimen domain pariwisata, yang meningkatkan berbagai metrik performa dibandingkan baseline Zero-shot.Peningkatan pada LLaMA-2 signifikan secara statistik (p‑value = 0,000074), sedangkan pada GPT-3.Secara agregat, LLaMA-2 menunjukkan keunggulan pada akurasi, presisi, dan f1‑score, menjadikannya model yang lebih tepat dan seimbang setelah penerapan RAFS.
Penelitian lanjutan dapat meneliti: (1) Bagaimana performa metode RAFS pada model LLM lain seperti Gemini atau Claude dalam konteks analisis sentimen domain pariwisata, sehingga dapat memperluas generalisasi temuan? (2) Apakah pendekatan augmentasi data dengan teknik synthetis atau generatif dapat mengatasi ketidakseimbangan kelas tanpa menimbulkan overfitting pada model LLaMA-2, khususnya pada kelas minoritas? (3) Bagaimana efek integrasi mekanisme feedback manusia‑in‑the‑loop terhadap kualitas contoh retrieval dalam RAFS, sehingga meningkatkan adaptasi model terhadap variasi bahasa regional. Menjawab tiga pertanyaan tersebut akan memberikan wawasan lebih mendalam tentang skalabilitas, kehandalan, dan adaptabilitas metode RAFS pada berbagai model dan skenario data, serta membantu mengoptimalkan strategi pengolahan sentimen dalam aplikasi dunia nyata.
- Stratified K-fold cross validation optimization on machine learning for prediction | Sinkron : jurnal... jurnal.polgan.ac.id/index.php/sinkron/article/view/11792Stratified K fold cross validation optimization on machine learning for prediction Sinkron jurnal jurnal polgan ac index php sinkron article view 11792
- Retrieval-Augmented Few-shot Text Classification - ACL Anthology. retrieval augmented few shot text acl... aclanthology.org/2023.findings-emnlp.447Retrieval Augmented Few shot Text Classification ACL Anthology retrieval augmented few shot text acl aclanthology 2023 findings emnlp 447
- DOI Name 10.31598 Values. name values index type timestamp data serv crossref email support desc prefix... doi.org/10.31598DOI Name 10 31598 Values name values index type timestamp data serv crossref email support desc prefix doi 10 31598
| File size | 847.36 KB |
| Pages | 11 |
| DMCA | Report |
Related /
UMDUMD Hasil penelitian ini menunjukkan kedudukan kreditor pemegang hak jaminan resi gudang setelah musnahnya objek jaminan tidak lagi sebagai kreditor preferenHasil penelitian ini menunjukkan kedudukan kreditor pemegang hak jaminan resi gudang setelah musnahnya objek jaminan tidak lagi sebagai kreditor preferen
UMIUMI Hasil dari penelitian ini adalah aplikasi novel ringan berbasis web yang dilengkapi sistem rekomendasi chatbot konversasional. Melalui sistem ini, penggunaHasil dari penelitian ini adalah aplikasi novel ringan berbasis web yang dilengkapi sistem rekomendasi chatbot konversasional. Melalui sistem ini, pengguna
ITBITB Hasilnya menunjukkan bahwa sistem OWDM dapat mencapai efisiensi spektrum yang lebih tinggi dibandingkan dengan sistem M-ary PSK dasar. Dengan memanfaatkanHasilnya menunjukkan bahwa sistem OWDM dapat mencapai efisiensi spektrum yang lebih tinggi dibandingkan dengan sistem M-ary PSK dasar. Dengan memanfaatkan
IOINFORMATICIOINFORMATIC Sistem berfungsi optimal dengan waktu respon 0,8 detik, meningkatkan efisiensi pengolahan data sebesar 85,7% dan partisipasi publik sebesar 105%, sertaSistem berfungsi optimal dengan waktu respon 0,8 detik, meningkatkan efisiensi pengolahan data sebesar 85,7% dan partisipasi publik sebesar 105%, serta
DCCKOTABUMIDCCKOTABUMI Kontribusi utama dari penelitian ini meliputi inovasi teknologi dengan penggabungan LLM dan TF-IDF, peningkatan kecepatan respon informasi banjir, sertaKontribusi utama dari penelitian ini meliputi inovasi teknologi dengan penggabungan LLM dan TF-IDF, peningkatan kecepatan respon informasi banjir, serta
UNISSULAUNISSULA Subjek validasi terdiri dari 8 ahli, termasuk ahli pendidikan (2 orang), ahli bahasa (2 orang), ahli manajemen (2 orang), dan ahli pondok pesantren (2Subjek validasi terdiri dari 8 ahli, termasuk ahli pendidikan (2 orang), ahli bahasa (2 orang), ahli manajemen (2 orang), dan ahli pondok pesantren (2
SISFOKOMTEKSISFOKOMTEK Penerapan WebGIS penyebaran apotek di Kota Rantauprapat memberikan kemudahan bagi masyarakat dalam menemukan lokasi apotek yang dibutuhkan. PendekatanPenerapan WebGIS penyebaran apotek di Kota Rantauprapat memberikan kemudahan bagi masyarakat dalam menemukan lokasi apotek yang dibutuhkan. Pendekatan
UNISSULAUNISSULA Manusia yang bermartabat adalah manusia, manusia yang hak asasi manusianya diakui, dilindungi dan dijamin. wujud Pancasila harus diterapkan secara mendasarManusia yang bermartabat adalah manusia, manusia yang hak asasi manusianya diakui, dilindungi dan dijamin. wujud Pancasila harus diterapkan secara mendasar
Useful /
WESTSCIENCE PRESSWESTSCIENCE PRESS Temuan ini berkontribusi pada pemahaman yang lebih mendalam tentang dimensi hukum, politik, dan sosial yang membentuk kriteria kelayakan usia dan implikasinyaTemuan ini berkontribusi pada pemahaman yang lebih mendalam tentang dimensi hukum, politik, dan sosial yang membentuk kriteria kelayakan usia dan implikasinya
UMTUMT Berdasarkan hasil analisis data penelitian maka dapat disimpulkan pertama, berdasarkan pengujian hipotesis 1 (H1), background visual complexity berpengaruhBerdasarkan hasil analisis data penelitian maka dapat disimpulkan pertama, berdasarkan pengujian hipotesis 1 (H1), background visual complexity berpengaruh
UNDIRAUNDIRA Mentor dalam kegiatan ini tidak hanya menguasai teori-teori jurnalistik televisi, tetapi juga praktik jurnalistik televisi. Para peserta akan memperolehMentor dalam kegiatan ini tidak hanya menguasai teori-teori jurnalistik televisi, tetapi juga praktik jurnalistik televisi. Para peserta akan memperoleh
SISFOKOMTEKSISFOKOMTEK Kriteria kemiskinan yang dilakukan berdasarkan Penetapan kriteria fakir miskin di Dinas Sosial berupa Sumber mata pencarian, Pengeluaran makanan pokok,Kriteria kemiskinan yang dilakukan berdasarkan Penetapan kriteria fakir miskin di Dinas Sosial berupa Sumber mata pencarian, Pengeluaran makanan pokok,