一種基于日志的分布式增量聚類算法.pdf

1、隨著云計算的普及，大型在線服務系統(tǒng)受到越來越多的關注，各種大型在線服務系統(tǒng)在市場上層出不窮。隨著系統(tǒng)的日趨龐大和復雜，大型在線服務系統(tǒng)產生的日志數據達到TB級別，同時需要保證系統(tǒng)24小時99.99％可用性。大型在線服務系統(tǒng)的正確運行和效率對于大型在線服務系統(tǒng)非常的重要，驗證的正確率和效率直接關系到大數據系統(tǒng)能否在實際生產環(huán)境中穩(wěn)定的運行，是大型在線服務系統(tǒng)上線生命周期中不可或缺的關鍵環(huán)節(jié)。日志數據作為分析大型在線服務系統(tǒng)的重要依據。日志

2、數據的分析技術的成熟，將大力有助于大型在線服務系統(tǒng)的穩(wěn)定運行和高效維護。高效的日志分析技術成為研究人員分析驗證以及調試大型在線分析系統(tǒng)的難點和熱點。
　　日志聚類分析技術旨在通過聚類分析的技術，降低大型在線服務系統(tǒng)的開發(fā)和維護的人力成本，幫助大型在線服務系統(tǒng)的工程師和研究人員解決相關的問題，保證系統(tǒng)的穩(wěn)健性。本文以日志的聚類分析及其效率優(yōu)化為研究課題，重點研究了日志數據的分布與解析，聚類分析技術，大數據處理分析技術等。針對海量日志

3、數據的數據量大和長尾分布的特點，提出了一種 Cascading層疊聚類算法。使用MapReduce技術實現(xiàn)了該算法，通過實驗驗證了算法的可行性和有效性，并把Cascading聚類算法分析技術集成到日志分析系統(tǒng)。本文的主要內容以及貢獻包括
　　1)研究與分析了日志數據的特征和日志數據的長尾分布的特點。大量相似的日志數據都屬于系統(tǒng)正常運行的日志數據，反應系統(tǒng)異常和錯誤的信息分布在“長尾”中。提出日志數據的預處理方法，包括對日志數據進行

4、抽樣、解析、轉換等。
　　2)在深入研究了各類聚類算法并分析了各類聚類算法的優(yōu)缺點的基礎之上，結合日志數據的長尾分布特征，提出了一種針對此類數據分布的基于分布式的Cascading聚類算法。
　　3)通過對Cascading聚類算法在日志數據的實驗，證實了Cascading聚類算法在運行時間和空間上的可行性，在長尾分布的日志數據下的優(yōu)越性，通過實驗說明采用日志聚類算法所減少的工作量。
　　4)搭建了日志數據分析系統(tǒng)，包