Publisher

UBHARAUBHARA

Journal JEECS (Journal of Electrical Engineering and Computer Sciences)JEECS (Journal of Electrical Engineering and Computer Sciences) Abstract

Deteksi anomali berbasis log adalah masalah inti dalam AIOps karena log sistem menyediakan bukti terperinci tentang kegagalan, regresi kinerja, dan insiden keamanan. Penelitian terbaru menunjukkan bahwa pemodelan urutan self-supervised secara signifikan meningkatkan generalisasi dibandingkan detektor berbasis frekuensi, terutama ketika data anomali berlabel langka. Makalah ini mempresentasikan kerangka kerja LogBERT‑style transformer untuk deteksi anomali sesi log dan melaporkan evaluasi eksperimental lengkap dan reproduktif. Karena keterbatasan download dataset log terarsip besar di lingkungan ini, kami membangun benchmark fallback SynHDFS‑6k yang meniru alur kerja blok HDFS dengan menggabungkan pola eksekusi normal dan menyuntikkan lima jenis anomali realistis. SynHDFS‑6k berisi 6.000 sesi dengan tingkat anomali tetap 5,0 % dan kosakata 20 template event. Kami melatih encoder transformer dua lapis dengan masked language modeling pada sesi normal saja dan mengukur skor anomali menggunakan pseudo log‑likelihood (PLL) dengan memask setiap posisi token sekali. Kami membandingkan dengan model probabilistik singkat, error rekonstruksi PCA, satu‑kelas SVM, isolation forest, prediktor next‑event GRU gaya DeepLog, dan batas atas regresi logistik terlatih. Pada split uji SynHDFS‑6k, LogBERT‑PLL mencapai Precision = 0.615, Recall = 0.533, F1 = 0.571, ROC‑AUC = 0.898, dan PR‑AUC = 0.594. Kami menganalisis strategi skor transformer, melaporkan trade‑off runtime dan kapasitas model, serta mengkuantifikasi perilaku deteksi per jenis anomali. Studi ini menyediakan blueprint end‑to‑end untuk deteksi anomali log berbasis transformer self‑supervised dengan protokol lengkap, serta menyoroti kelebihan dan keterbatasan yang dapat menginformasikan penerapan pada log HDFS dunia nyata.

Conclusion

LogBERT‑PLL, detektor sesi log berbasis transformer, menunjukkan F1 tertinggi di antara metode tidak terawasi pada benchmark SynHDFS‑6k (0,571) dan menghasilkan metrik ranking superior (ROC‑AUC = 0,898.Analisis per‑anomali menunjukkan bahwa LogBERT‑PLL menampung jenis anomali yang mengubah dependensi kontekstual secara substansial, sedangkan metode frekuensi sederhana hanya mengidentifikasi anomali yang memodifikasi frekuensi keluarannya.Peningkatan skor PLL rata‑rata dibandingkan skor maksimumnya menyeimbangkan sensitivitas dan presisi, namun skor max memberikan recall lebih tinggi untuk anomali jarang dengan biaya false positive yang lebih tinggi.Waktu inferensi LogBERT‑PLL lebih lambat dibandingkan baseline sederhana, sehingga untuk sistem real‑time, perlu optimasi atau pendekatan hybrid.Secara keseluruhan, LogBERT‑PLL memperlihatkan keuntungan signifikan dari pemodelan kontekstual self‑supervised di latar belakang log sistem, namun masih perlu diuji terhadap dataset nyata dengan variasi template dan evolusi log.

Future Research

1. Meneliti apakah melatih model LogBERT pada data log real HDFS dengan parsing Drain dapat mempertahankan performa F1 yang tinggi dan memeriksa apakah adopsi encoder berbobot lebih besar dapat memperbaiki recall pada anomali unexpected_error tanpa meningkatkan false positive. 2. Mengeksplorasi strategi skor hybrid yang menggabungkan PLL‑mean dan PLL‑max atau jarak Mahalanobis CLS untuk meningkatkan sensitivitas anomali jarang, lalu menilai trade‑off bandwidth dan latency pada pipeline AIOps. 3. Mengembangkan mekanisme pembaruan dinamis di mana model LogBERT secara berkala melakukan re‑pretraining pada log normal yang berkurang seiring waktu, untuk menjaga ketahanan terhadap drift template log dan menilai dampaknya terhadap akurasi serta biaya komputasi dalam deployment skala besar.

References

1. Experience Report: System Log Analysis for Anomaly Detection | IEEE Conference Publication | IEEE Xplore.... ieeexplore.ieee.org/document/7774521Experience Report System Log Analysis for Anomaly Detection IEEE Conference Publication IEEE Xplore ieeexplore ieee document 7774521
2. Drain: An Online Log Parsing Approach with Fixed Depth Tree | IEEE Conference Publication | IEEE Xplore.... ieeexplore.ieee.org/document/8029742Drain An Online Log Parsing Approach with Fixed Depth Tree IEEE Conference Publication IEEE Xplore ieeexplore ieee document 8029742
3. Isolation Forest | IEEE Conference Publication | IEEE Xplore. isolation forest ieee conference publication... ieeexplore.ieee.org/document/4781136Isolation Forest IEEE Conference Publication IEEE Xplore isolation forest ieee conference publication ieeexplore ieee document 4781136

Metadata

File size	979.33 KB
Pages	13
DMCA	Report