STTSSTTS
INSYST: Journal of Intelligent System and ComputationINSYST: Journal of Intelligent System and ComputationEvaluasi tugas pemrograman dalam pendidikan ilmu komputer seringkali memakan waktu dan bersifat subjektif ketika dilakukan secara manual oleh instruktur. Studi ini mengusulkan sistem evaluasi kode berbasis web otomatis yang memanfaatkan Kecerdasan Buatan (AI) untuk memberikan umpan balik segera dan objektif. Sistem dibangun dengan framework Next.js untuk antarmuka pengguna dan mengintegrasikan Model Bahasa Besar (LLM), DeepSeek-R1, melalui framework LangChain sebagai perantara komunikasi AI. Melalui integrasi ini, sistem secara otomatis menganalisis penyerahan kode sumber siswa terhadap tugas pemrograman dan rubrik penilaian yang diberikan, menghasilkan umpan balik dan skor secara real-time. Uji kinerja sistem yang diimplementasikan menghasilkan rata-rata waktu respons 5,7 detik, throughput 10,86 permintaan per detik, dan skor kinerja beban depan 78. Evaluasi pengguna menggunakan Skala Ketergunaan Sistem (SUS) menghasilkan skor 77, menunjukkan pengalaman pengguna yang positif. Sistem berfungsi efektif selama uji coba, menunjukkan bahwa evaluasi kode berbasis AI dapat mempercepat dan menyederhanakan proses penilaian dalam pendidikan pemrograman sambil mempertahankan akurasi dan ketergunaan yang memuaskan. Temuan ini menunjukkan bahwa mengintegrasikan LLM ke dalam platform pendidikan pemrograman menawarkan pendekatan yang skalabel dan efektif untuk penilaian otomatis, dengan potensi signifikan untuk meningkatkan hasil belajar dan mengurangi beban kerja instruktur di lingkungan akademis.
Penelitian ini menunjukkan bahwa sistem evaluasi kode otomatis berbasis web yang dikembangkan berhasil mengatasi tantangan yang diidentifikasi dalam pendidikan pemrograman.Integrasi DeepSeek-R1 LLM dengan framework LangChain dan Next.js menciptakan platform yang mengubah cara tugas pemrograman dinilai dan umpan balik disampaikan.Kesepakatan AI-manusia (Cohens Kappa = 0,76) dan korelasi kuat (r = 0,847) memvalidasi akurasi penilaian yang sebanding dengan penilai manusia ahli.Platform juga mempertahankan stabilitas operasional dengan rata-rata waktu respons 5,7 detik, yang terbukti dapat diterima untuk konteks pendidikan di mana umpan balik segera meningkatkan hasil belajar.Kapasitas throughput 10,86 permintaan per detik, dikombinasikan dengan pengujian skalabilitas hingga 150 pengguna simultan, menunjukkan bahwa platform dapat mendukung lingkungan kelas yang tipikal tanpa bottleneck kinerja.Dari perspektif institusi, analisis ekonomi menunjukkan keberlanjutan yang menjanjikan.Setiap penilaian hanya berbiaya sekitar $0,003, menjadikan teknologi ini secara finansial layak untuk adopsi pendidikan yang luas.Keunggulan ini, dikombinasikan dengan penghematan waktu yang dilaporkan oleh instruktur, menawarkan kasus yang kuat untuk implementasi di seluruh kurikulum pemrograman.
Penelitian lanjutan dapat fokus pada pengembangan antarmuka pengguna yang lebih intuitif untuk meningkatkan pengalaman pengguna, terutama bagi pemula dalam pemrograman. Selain itu, integrasi fitur editor kode canggih seperti auto-complete atau debugging otomatis bisa memperkaya sistem untuk mendukung pembelajaran mandiri lebih efektif. Aspek lain yang menarik adalah optimasi kecepatan proses AI untuk mengurangi waktu respons, sehingga sistem menjadi lebih responsif dalam skenario penilaian real-time. Peneliti juga dapat mengeksplorasi penerapan model LLM lainnya untuk mengevaluasi bahasa pemrograman yang berbeda, memperluas aplikasi sistem ke berbagai konteks pendidikan teknik. Akhirnya, pengembangan alat analisis data untuk memahami pola kesalahan umum siswa bisa membantu instruktur merancang strategi pengajaran yang lebih tepat guna.
| File size | 676.88 KB |
| Pages | 7 |
| DMCA | Report |
Related /
UINSAUINSA Namun, tantangan seperti kebutuhan pelatihan pengguna dan ketersediaan infrastruktur teknologi tetap menjadi hambatan utama. Aplikasi sistem informasiNamun, tantangan seperti kebutuhan pelatihan pengguna dan ketersediaan infrastruktur teknologi tetap menjadi hambatan utama. Aplikasi sistem informasi
APTIIAPTII Penelitian ini berhasil merancang dan membangun sistem EDOM berbasis web dengan pendekatan prototype dan Laravel, yang menggantikan proses manual GooglePenelitian ini berhasil merancang dan membangun sistem EDOM berbasis web dengan pendekatan prototype dan Laravel, yang menggantikan proses manual Google
ALFARABIALFARABI Hambatan utama adalah kesulitan guru berusia lanjut dalam menggunakan aplikasi sistem informasi manajemen. Implementasi Sistem Informasi Manajemen PendidikanHambatan utama adalah kesulitan guru berusia lanjut dalam menggunakan aplikasi sistem informasi manajemen. Implementasi Sistem Informasi Manajemen Pendidikan
STMIKIBASTMIKIBA Oleh karena itu perlunya mengembangkan sistem informasi pondok pesantren yang lebih mudah dan dapat memenuhi kebutuhan para penggunanya. Sistem informasiOleh karena itu perlunya mengembangkan sistem informasi pondok pesantren yang lebih mudah dan dapat memenuhi kebutuhan para penggunanya. Sistem informasi
STMIKJAYAKARTASTMIKJAYAKARTA Hasil Penelitian ini adalah sebuah sistem informasi sewa aset dan fasilitas lapangan futsal Maestro Futsal Kemayoran berbasis web. Dengan adanya sistemHasil Penelitian ini adalah sebuah sistem informasi sewa aset dan fasilitas lapangan futsal Maestro Futsal Kemayoran berbasis web. Dengan adanya sistem
STMIKJAYAKARTASTMIKJAYAKARTA Hasil pengujian sistem menunjukkan bahwa sistem berjalan dengan baik dan mampu memenuhi fungsi-fungsi yang telah ditentukan. Sistem informasi perpustakaanHasil pengujian sistem menunjukkan bahwa sistem berjalan dengan baik dan mampu memenuhi fungsi-fungsi yang telah ditentukan. Sistem informasi perpustakaan
STMIKJAYAKARTASTMIKJAYAKARTA Teknik pengumpulan data dengan melakukan observasi lapangan, wawancara, dan studi literature. Sistem informasi penerimaan peserta didik baru ini dibangunTeknik pengumpulan data dengan melakukan observasi lapangan, wawancara, dan studi literature. Sistem informasi penerimaan peserta didik baru ini dibangun
IKHAFIIKHAFI Aplikasi musik dengan reminder event ini berbasis Mobile APP (Android). Metode yang digunakan untuk mengembangkan aplikasi ini yaitu System DevelopmentAplikasi musik dengan reminder event ini berbasis Mobile APP (Android). Metode yang digunakan untuk mengembangkan aplikasi ini yaitu System Development
Useful /
UMPWRUMPWR Kegiatan pengabdian masyarakat peningkatan profesionalisme guru melalui Lesson Study di SMP Negeri 4 Kota Bengkulu berjalan dengan baik dan mencapai tujuanKegiatan pengabdian masyarakat peningkatan profesionalisme guru melalui Lesson Study di SMP Negeri 4 Kota Bengkulu berjalan dengan baik dan mencapai tujuan
UMPWRUMPWR Tujuan program ini adalah untuk meningkatkan kualitas kehidupan bangsa melalui pendidikan non-formal, menanamkan budaya literasi, dan mengembangkan keterampilanTujuan program ini adalah untuk meningkatkan kualitas kehidupan bangsa melalui pendidikan non-formal, menanamkan budaya literasi, dan mengembangkan keterampilan
ISWISW Permasalahan sampah di tingkat komunitas masih menjadi tantangan serius yang berdampak pada kualitas lingkungan, kesehatan, dan kesejahteraan sosial ekonomiPermasalahan sampah di tingkat komunitas masih menjadi tantangan serius yang berdampak pada kualitas lingkungan, kesehatan, dan kesejahteraan sosial ekonomi
AFEKSIAFEKSI Metode yang digunakan dalam penelitian ini adalah Research and Development (R&D) dengan model pengembangan 4D (Define, Design, Develop, Disseminate). ProdukMetode yang digunakan dalam penelitian ini adalah Research and Development (R&D) dengan model pengembangan 4D (Define, Design, Develop, Disseminate). Produk