基于Hadoop的并行化算法實現及GPS數據實例分析.pdf

1、隨著云計算、物聯網和移動互聯網的快速發(fā)展，大數據正成為信息技術的新熱點，產業(yè)發(fā)展的新方向，對人類的生產與生活產生巨大影響。大數據來源于互聯網、企業(yè)系統(tǒng)和物聯網等信息系統(tǒng)，經過大數據處理平臺的分析與挖掘，產生新的知識用以支撐決策或業(yè)務智能化運轉，大數據時代的到來給數據管理與分析提出了新的挑戰(zhàn)，數據處理方法的合理性和時效性成為了大數據統(tǒng)計分析的研究熱點。近年來，基于數據挖掘算法的大數據分析是研究的重要方向，但大都是以傳統(tǒng)單機環(huán)境下數據挖掘算

2、法改進為主，由于受內存、擴展性等限制，不能有效滿足激增的海量數據處理需求，為此本文研究傳統(tǒng)數據挖掘算法在MapReduce并行編程環(huán)境下的實現方法，同時，針對大數據時代海量數據的存在形式及Hadoop平臺處理海量小文件數據時的性能瓶頸，提出海量小文件處理策略，最后，以出租車GPS數據為實例，對MapReduce實現短時交通路預測的高效性進行驗證，在Hadoop環(huán)境下，改進基于MapReduce的K近鄰短時交通流預測算法，以提高預測準確性

3、。基于以上情況，本文具體做了以下三項工作:
　　(1)針對單機環(huán)境下傳統(tǒng)數據挖掘算法在對大規(guī)模數據分析時存在“內存消耗高、計算性能低、擴展性差和可靠性弱”等問題，提出MapReduce并行環(huán)境下KNN、Apriori和K-Means算法的實現方法，并以“可行性、加速比和擴展性”為指標，采用不同大小的真實數據集，在由不同節(jié)點組成的集群中進行實驗驗證。實驗結果表明，該實現方法是可行和有效的，能提高KNN、Apriori和K-Means

4、算法的整體性能和挖掘效率，以滿足大規(guī)模數據挖掘的需要。
　　(2)分析了Hadoop平臺的設計初衷是專門處理流式大文件，而現實環(huán)境中大部分數據是以海量小文件形式存在，針對Hadoop在處理海量小文件時，存在“內存消耗高、處理效率低”等固有缺陷，本文中實現了CombineFileInputFormat(CFIF)、HadoopArchive(HA)、Sequence File(SF)等三種處理海量小文件的有效方法，并結合不同用戶的實

5、際需求，提出了相應的處理策略，以“Namenode內存消耗、MapReduce運行速度”為指標，驗證策略選擇的合理性和有效性。實驗結果表明，所實現的處理方法和提出的策略選擇，能最大化地發(fā)揮Hadoop的整體性能，提高海量小文件的處理效率。
　　(3)以海量出租車GPS數據為研究實例，一是利用(1)所述基于MapReduce的并行化K近鄰算法解決海量GPS數據預測短時交通流時效率低的問題;二是在短時交通流預測前，引入(2)所述小文件