UNANDUNAND

Jurnal ArbitrerJurnal Arbitrer

Terdapat penelitian yang semakin banyak tentang pemanfaatan AI dalam umpan balik korektif pengajaran bahasa asing. Namun, sedikit penelitian yang secara spesifik mengevaluasi akurasi analisis AI dalam penelitian korpus pembelajar. Studi ini bertujuan untuk menciptakan korpus terannotasi AI yang datanya diperoleh dari pembelajar bahasa Jepang sebagai bahasa asing (JFL) di Indonesia dengan pengawasan manusia, diberi merek DICO-JALF v.1.0. Tujuannya adalah mengukur sejauh mana ChatGPT secara akurat mengidentifikasi kesalahan. Tugas diberikan terlebih dahulu untuk mengumpulkan data korpus dan metadata untuk membangun korpus. Korpus ini diannotasi kesalahan menggunakan ChatGPT 4.0. Pengisi korpus secara manual mengawasi akurasi anotasi yang dibuat AI. Mengenai kesalahan yang dibuat pembelajar, diamati bahwa pilihan kata dan bentuk yang salah mendominasi penyebab kesalahan, sementara penggunaan berlebih dan kurang minimal. Dapat disimpulkan bahwa ChatGPT menunjukkan akurasi rata-rata 70% pengidentifikasian kesalahan. Mengenai tingkat kesalahan, kata benda adalah kategori yang paling sering mengalami kesalahan, mungkin dipicu oleh konjugasi yang tidak ada dalam bahasa Indonesia, bahasa pertama siswa. Hal ini menunjukkan bahwa akuisisi kata benda Jepang oleh pembelajar Indonesia memerlukan fokus yang lebih besar. Sebagai perbandingan dengan studi serupa, ini relatif rendah. Namun, dapat diargumenkan bahwa salah satu faktor menentukan akurasi anotasi ChatGPT atau alat berbasis LLM lainnya adalah kompleksitas skema anotasi yang mereka ikuti. Korpus ini telah tersedia untuk diunduh. Anotasi ini dapat dibaca oleh sistem kueri korpus yang membaca tag XML. Korpus ini berfungsi sebagai sumber dasar untuk penelitian masa depan tentang analisis kesalahan bantuan AI dalam konteks pembelajaran JFL di Indonesia.

0 telah dibuat dan sekarang secara terbuka tersedia (tujuan 1).Ini adalah korpus pembelajar pertama yang diannotasi kesalahan dari siswa Indonesia.Representatifitas korpus dapat ditingkatkan dengan menambahkan data dari universitas beragam di Indonesia.Penggunaan AI untuk menciptakan anotasi kesalahan dalam DICO-JALF telah ditunjukkan.Namun, evaluasi pasca-anotasi menunjukkan bahwa akurasi anotasi secara keseluruhan (70%) masih dapat ditingkatkan (tujuan 2).Dengan ini, pengajar bahasa Jepang dapat mengidentifikasi kesalahan dalam berbagai kategori metadata dan merancang materi pengajaran berbasis data, memungkinkan mereka untuk menargetkan area kelemahan spesifik.

Penelitian lanjutan dapat membandingkan kinerja AI seperti ChatGPT dengan model LLM lainnya, seperti DeepSeek atau Gemini, untuk menguji efektivitasnya dalam deteksi kesalahan. Selain itu, perlu pengembangan korpus untuk mencakup pembelajar JFL dari universitas-universitas berbeda di Indonesia guna meningkatkan representativitas. Studi lebih lanjut juga disarankan untuk merancang skema anotasi kesalahan yang lebih menyeluruh, termasuk klasifikasi error berdasarkan konteks dan tingkat kesulitan bahasa, sehingga dapat meningkatkan akurasi alat koreksi otomatis.

  1. Analisis Kesulitan Penggunaan Partikel Wa, No, Ni, De pada Siswa MAN 1 Kebumen | Safama | JLA (Jurnal... journal.ugm.ac.id/jla/article/view/75070Analisis Kesulitan Penggunaan Partikel Wa No Ni De pada Siswa MAN 1 Kebumen Safama JLA Jurnal journal ugm ac jla article view 75070
  2. JAAOS - Journal of the American Academy of Orthopaedic Surgeons. jaaos journal american academy orthopaedic... doi.org/10.5435/jaaos-d-23-00396JAAOS Journal of the American Academy of Orthopaedic Surgeons jaaos journal american academy orthopaedic doi 10 5435 jaaos d 23 00396
  3. Error Analysis in Japanese Writing and Its Implementation in a Computer Assisted Language Learning System... utppublishing.com/doi/10.1558/cj.v15i1-3.47-66Error Analysis in Japanese Writing and Its Implementation in a Computer Assisted Language Learning System utppublishing doi 10 1558 cj v15i1 3 47 66
  4. Improving Hindi POS Tagger Accuracy Through Domain Adaptation | Nepalese Linguistics. improving hindi... nepjol.info/index.php/lsnj/article/view/46564Improving Hindi POS Tagger Accuracy Through Domain Adaptation Nepalese Linguistics improving hindi nepjol index php lsnj article view 46564
  5. Shortcomings of ChatGPT | Journal of Chemical Education. shortcomings chatgpt journal chemical education... doi.org/10.1021/acs.jchemed.3c00361Shortcomings of ChatGPT Journal of Chemical Education shortcomings chatgpt journal chemical education doi 10 1021 acs jchemed 3c00361
Read online
File size1.61 MB
Pages15
DMCAReport

Related /

ads-block-test