Tel-UTel-U

International Journal on Information and Communication Technology (IJoICT)International Journal on Information and Communication Technology (IJoICT)

Sistem komputasi Data-Intensive Scalable Computing (DISC) sangat penting dalam mengelola dataset besar dengan fokus pada ketahanan kesalahan, efisiensi biaya, dan aksesibilitas pengguna. Namun, kesalahan input pada data yang diproses menimbulkan tantangan bagi programmer. Penelitian ini menggunakan program analisis salju Snowfall, yang terkenal dengan data anomali yang menyebabkan ketidakakuratan dalam memprediksi, sebagai studi kasus. Untuk mengatasi tantangan ini, kami menggunakan Titian, perpustakaan yang diperluas yang memfasilitasi debugging dengan melacak secara sistematis asal usul data yang salah. Analisis kami menunjukkan bahwa Titian dapat mengidentifikasi kesalahan data dengan akurasi 100%, dan rata-rata waktu program yang menggunakan Titian hanya 0,505 detik untuk berbagai ukuran dataset, jauh lebih baik daripada metode debugging manual standar. Temuan ini menunjukkan potensi Titian dalam meningkatkan data provenance di sistem DISC, memberikan wawasan teoritis tentang proses debugging dan aplikasi praktis untuk meningkatkan integritas data dalam lingkungan komputasi berskala besar.

Penelitian ini menyimpulkan bahwa Titian akurat dan efisien dalam melakukan debugging otomatis pada sistem DISC dengan dataset terstruktur, khususnya untuk program analisis salju.Titian berhasil memantau data provenance dari output program dengan akurasi 100% pada berbagai ukuran dataset.Selain itu, Titian lebih unggul dalam kinerja waktu dibandingkan debugging manual, dengan menghabiskan waktu hampir sama meskipun ukuran dataset meningkat.

Berdasarkan hasil penelitian ini, ada beberapa saran penelitian lanjutan yang dapat dilakukan. Pertama, perlu dilakukan studi kasus lebih lanjut tentang adopsi Titian pada sistem DISC lainnya untuk memastikan keefektifannya dalam berbagai skenario. Kedua, penelitian dapat fokus pada pengembangan metode analisis akar penyebab kesalahan dalam sistem DISC, yang dapat membantu dalam pencegahan dan perbaikan kesalahan di masa depan. Terakhir, integrasi Titian dengan perpustakaan Spark lainnya dapat menjadi solusi yang berguna untuk pengambilan keputusan cepat yang membutuhkan waktu lebih singkat.

  1. The Implementation of Titian for Data Provenance on DISC Systems Automated Debugging | International... doi.org/10.21108/ijoict.v10i1.929The Implementation of Titian for Data Provenance on DISC Systems Automated Debugging International doi 10 21108 ijoict v10i1 929
  2. Automated debugging in data-intensive scalable computing | Proceedings of the 2017 Symposium on Cloud... dl.acm.org/doi/10.1145/3127479.3131624Automated debugging in data intensive scalable computing Proceedings of the 2017 Symposium on Cloud dl acm doi 10 1145 3127479 3131624
Read online
File size442.88 KB
Pages11
DMCAReport

Related /

ads-block-test