STTSSTTS
INSYST: Journal of Intelligent System and ComputationINSYST: Journal of Intelligent System and ComputationEvaluasi tugas pemrograman dalam pendidikan ilmu komputer seringkali memakan waktu dan bersifat subjektif ketika dilakukan secara manual oleh instruktur. Studi ini mengusulkan sistem evaluasi kode berbasis web otomatis yang memanfaatkan Kecerdasan Buatan (AI) untuk memberikan umpan balik segera dan objektif. Sistem dibangun dengan framework Next.js untuk antarmuka pengguna dan mengintegrasikan Model Bahasa Besar (LLM), DeepSeek-R1, melalui framework LangChain sebagai perantara komunikasi AI. Melalui integrasi ini, sistem secara otomatis menganalisis penyerahan kode sumber siswa terhadap tugas pemrograman dan rubrik penilaian yang diberikan, menghasilkan umpan balik dan skor secara real-time. Uji kinerja sistem yang diimplementasikan menghasilkan rata-rata waktu respons 5,7 detik, throughput 10,86 permintaan per detik, dan skor kinerja beban depan 78. Evaluasi pengguna menggunakan Skala Ketergunaan Sistem (SUS) menghasilkan skor 77, menunjukkan pengalaman pengguna yang positif. Sistem berfungsi efektif selama uji coba, menunjukkan bahwa evaluasi kode berbasis AI dapat mempercepat dan menyederhanakan proses penilaian dalam pendidikan pemrograman sambil mempertahankan akurasi dan ketergunaan yang memuaskan. Temuan ini menunjukkan bahwa mengintegrasikan LLM ke dalam platform pendidikan pemrograman menawarkan pendekatan yang skalabel dan efektif untuk penilaian otomatis, dengan potensi signifikan untuk meningkatkan hasil belajar dan mengurangi beban kerja instruktur di lingkungan akademis.
Penelitian ini menunjukkan bahwa sistem evaluasi kode otomatis berbasis web yang dikembangkan berhasil mengatasi tantangan yang diidentifikasi dalam pendidikan pemrograman.Integrasi DeepSeek-R1 LLM dengan framework LangChain dan Next.js menciptakan platform yang mengubah cara tugas pemrograman dinilai dan umpan balik disampaikan.Kesepakatan AI-manusia (Cohens Kappa = 0,76) dan korelasi kuat (r = 0,847) memvalidasi akurasi penilaian yang sebanding dengan penilai manusia ahli.Platform juga mempertahankan stabilitas operasional dengan rata-rata waktu respons 5,7 detik, yang terbukti dapat diterima untuk konteks pendidikan di mana umpan balik segera meningkatkan hasil belajar.Kapasitas throughput 10,86 permintaan per detik, dikombinasikan dengan pengujian skalabilitas hingga 150 pengguna simultan, menunjukkan bahwa platform dapat mendukung lingkungan kelas yang tipikal tanpa bottleneck kinerja.Dari perspektif institusi, analisis ekonomi menunjukkan keberlanjutan yang menjanjikan.Setiap penilaian hanya berbiaya sekitar $0,003, menjadikan teknologi ini secara finansial layak untuk adopsi pendidikan yang luas.Keunggulan ini, dikombinasikan dengan penghematan waktu yang dilaporkan oleh instruktur, menawarkan kasus yang kuat untuk implementasi di seluruh kurikulum pemrograman.
Penelitian lanjutan dapat fokus pada pengembangan antarmuka pengguna yang lebih intuitif untuk meningkatkan pengalaman pengguna, terutama bagi pemula dalam pemrograman. Selain itu, integrasi fitur editor kode canggih seperti auto-complete atau debugging otomatis bisa memperkaya sistem untuk mendukung pembelajaran mandiri lebih efektif. Aspek lain yang menarik adalah optimasi kecepatan proses AI untuk mengurangi waktu respons, sehingga sistem menjadi lebih responsif dalam skenario penilaian real-time. Peneliti juga dapat mengeksplorasi penerapan model LLM lainnya untuk mengevaluasi bahasa pemrograman yang berbeda, memperluas aplikasi sistem ke berbagai konteks pendidikan teknik. Akhirnya, pengembangan alat analisis data untuk memahami pola kesalahan umum siswa bisa membantu instruktur merancang strategi pengajaran yang lebih tepat guna.
| File size | 676.88 KB |
| Pages | 7 |
| DMCA | Report |
Related /
HAMZANWADIHAMZANWADI Simpulan dari kegiatan ini adalah dengan penambahan ekstrakulikuler Gendang Beleq dan tari pengiringnya memberi warna tersendiri dalam pembinaan kesenianSimpulan dari kegiatan ini adalah dengan penambahan ekstrakulikuler Gendang Beleq dan tari pengiringnya memberi warna tersendiri dalam pembinaan kesenian
HAMZANWADIHAMZANWADI Sebagai pusat informasi, setiap arsip bisa membantu ingatan seseorang mengenai sebuah naskah tertentu. Sebagai sumber dokumentasi, arsip dapat digunakanSebagai pusat informasi, setiap arsip bisa membantu ingatan seseorang mengenai sebuah naskah tertentu. Sebagai sumber dokumentasi, arsip dapat digunakan
YP3AYP3A Hasil analisis data menunjukan bahwa System Usefulness, Information Quality, dan Interface Quality telah memberikan pengaruh secara bersama-sama sebebarHasil analisis data menunjukan bahwa System Usefulness, Information Quality, dan Interface Quality telah memberikan pengaruh secara bersama-sama sebebar
UNIDAYANUNIDAYAN Penelitian ini menggunakan pendekatan kualitatif dengan metode rekayasa perangkat lunak. Hasil dari penelitian ini adalah sebuah aplikasi sistem informasiPenelitian ini menggunakan pendekatan kualitatif dengan metode rekayasa perangkat lunak. Hasil dari penelitian ini adalah sebuah aplikasi sistem informasi
UBHARAUBHARA Tujuan yang ingin dicapai dalam proyek akhir ini adalah membuat aplikasi Sistem Pendukung Keputusan untuk Pemilihan Wilayah Penghasil Bawang Merah TerbaikTujuan yang ingin dicapai dalam proyek akhir ini adalah membuat aplikasi Sistem Pendukung Keputusan untuk Pemilihan Wilayah Penghasil Bawang Merah Terbaik
UBTUBT Kegiatan pengabdian masyarakat ini berhasil mengembangkan aplikasi sistem informasi penjualan yang memberikan manfaat nyata dalam pengelolaan data transaksiKegiatan pengabdian masyarakat ini berhasil mengembangkan aplikasi sistem informasi penjualan yang memberikan manfaat nyata dalam pengelolaan data transaksi
STMIKIBASTMIKIBA Selama ini Dinas terkait memberikan informasi terkait keberangkatan kapal penumpang (Ferry dan Cepat) masih belum adanya sistem khusus, sehingga bukanSelama ini Dinas terkait memberikan informasi terkait keberangkatan kapal penumpang (Ferry dan Cepat) masih belum adanya sistem khusus, sehingga bukan
STMIKIBASTMIKIBA Untuk kepentingan mengolah data pondok pesantren tersebut maka dibutuhkan suatu sistem yang dapat menampung seluruh data pesantren. Saat ini data yangUntuk kepentingan mengolah data pondok pesantren tersebut maka dibutuhkan suatu sistem yang dapat menampung seluruh data pesantren. Saat ini data yang
Useful /
SEMINAR IDSEMINAR ID Dunia sedang dilanda pandemi Covid-19, termasuk Indonesia. Pandemi ini berdampak pada seluruh aspek kehidupan, termasuk pendidikan. Dampak pandemi merubahDunia sedang dilanda pandemi Covid-19, termasuk Indonesia. Pandemi ini berdampak pada seluruh aspek kehidupan, termasuk pendidikan. Dampak pandemi merubah
ISWISW Kegiatan ini menegaskan bahwa pendekatan berbasis komunitas dan nilai keislaman efektif dalam mendorong keberlanjutan pengelolaan sampah. Penelitian iniKegiatan ini menegaskan bahwa pendekatan berbasis komunitas dan nilai keislaman efektif dalam mendorong keberlanjutan pengelolaan sampah. Penelitian ini
LSPRLSPR Driven by disappointment in the Indonesian governments perceived lack of support for Satinahs diyat (blood money), Migrant Care launched a crowdfundingDriven by disappointment in the Indonesian governments perceived lack of support for Satinahs diyat (blood money), Migrant Care launched a crowdfunding
STKIP JBSTKIP JB Fakta kehidupan merupakan rangkaian teka‑teki, pertanyaan, atau misteri yang menuntut pencarian jawaban yang disebut kebenaran. Kebenaran berada padaFakta kehidupan merupakan rangkaian teka‑teki, pertanyaan, atau misteri yang menuntut pencarian jawaban yang disebut kebenaran. Kebenaran berada pada