PUSTAKAGALERIMANDIRIPUSTAKAGALERIMANDIRI

Jurnal Pustaka Data (Pusat Akses Kajian Database, Analisa Teknologi, dan Arsitektur Komputer)Jurnal Pustaka Data (Pusat Akses Kajian Database, Analisa Teknologi, dan Arsitektur Komputer)

Hingga saat ini belum diketahui bagaimana kompleksitas class diagram memengaruhi kesesuaian struktural kode hasil luaran Large Language Model (LLM) secara kuantitatif. Penelitian ini mengevaluasi keandalan GPT-4 dalam mengotomatisasi generasi skeleton code Pascal menggunakan pendekatan Model-Driven Software Engineering (MDSE). Desain dari domain akademik, rumah sakit, dan e-commerce dievaluasi berdasarkan Weighted Methods per Class (WMC), jumlah kelas, dan kepadatan relasi menggunakan Jaccard Similarity. Hasil pengujian menunjukkan GPT-4 mencapai kesesuaian sempurna (1,00) pada kompleksitas rendah. Namun, akurasi menurun menjadi 0,935 (dokumen) dan 0,932 (gambar) pada skala menengah. Akurasi terendah terjadi pada skala tinggi (e-commerce), merosot hingga 0,845 (dokumen) dengan tingkat deviasi 15,5%, dan 0,910 (gambar) akibat halusinasi over-generation. Penelitian ini memberikan kontribusi berupa ambang batas empiris total WMC <= 15, di mana di atas nilai tersebut reliabilitas LLM turun di bawah 0,85 Jaccard similarity.

Penelitian ini menyimpulkan bahwa tingkat kompleksitas arsitektur pada Class Diagram memiliki korelasi negatif yang signifikan terhadap akurasi skeleton code yang dihasilkan secara otomatis oleh Large Language Model (LLM).Melalui pendekatan Model-Based Software Engineering (MBSE), kecerdasan buatan terbukti mampu mempertahankan presisi struktural yang sempurna pada model berskala rendah, sebagaimana dibuktikan oleh perolehan koefisien Jaccard Similarity sebesar 1.Namun, seiring dengan eskalasi skala kerumitan yang direpresentasikan oleh lonjakan metrik Weighted Methods per Class (WMC), kepadatan relasi, dan populasi kelas, keandalan transformasi model mengalami degradasi yang nyata.Hal ini terbukti dari penurunan nilai akurasi pada sistem rumah sakit (0.935) hingga mencapai titik terendah pada sistem e-commerce (0.Pada tingkat kerumitan tinggi, keterbatasan jendela konteks pada ChatGPT memicu terjadinya fenomena kejenuhan informasi yang berujung pada halusinasi data, baik berupa penghilangan elemen esensial (under-generation) maupun fabrikasi atribut dan metode yang menyimpang dari instruksi Data Dictionary.Temuan ini secara empiris memvalidasi bahwa metrik WMC sangat krusial untuk difungsikan sebagai indikator prediktif dalam menakar batas toleransi keandalan kecerdasan buatan sebelum mengeksekusi otomatisasi rekayasa perangkat lunak.Penggunaan LLM terbukti sangat efisien untuk mempercepat fase coding awal pada sistem berskala kecil hingga menengah, namun model ini belum sepenuhnya siap beroperasi secara otonom pada rancangan arsitektur tingkat industri tanpa adanya verifikasi manual yang ketat.

Berdasarkan hasil penelitian, disarankan untuk melakukan optimasi prompt engineering secara spesifik atau lanjutan (fine-tuning) pada model bahasa guna menekan rasio halusinasi struktural saat menangani transformasi spesifikasi sistem berskala masif. Selain itu, pengembang disarankan untuk memecah arsitektur sistem yang kompleks menjadi modul-modul layanan independen yang lebih kecil sebelum ditransformasikan oleh mesin. Penelitian lanjutan dapat fokus pada pengembangan teknik prapelatihan (pre-training) untuk meningkatkan kemampuan model dalam menangani kompleksitas desain yang tinggi.

Read online
File size451.23 KB
Pages10
DMCAReport

Related /

ads-block-test