基于數據偏斜條件下Reduce任務放置機制的研究.pdf

1、隨著網絡技術的不斷發(fā)展，互聯網已經越來越普及，各行各業(yè)都受到它的影響，網絡用戶數目不斷攀升，這也使得互聯網中所產生的數據朝著大和雜的方向發(fā)展，對這類型數據的分析處理和挖掘搜索已經成為互聯網行業(yè)新的方向，同時這些都為分布式計算和云計算的發(fā)展提供了新的發(fā)展機遇。MapReduee是Google提出用于處理海量數據的分布式并行計算編程模型，基于該框架能夠容易地編寫應用程序，這些應用程序能夠運行在由上千個機器組成的大集群上，具有自動并行處理作業(yè)

2、、可靠性高、具有容錯能力以及編程簡單，能夠并行地處理上TB級別的海量數據集等特點。
　　在大多數運行的Hadoop系統(tǒng)中，對于頻繁的磁盤I/O和跨機架和不同物理節(jié)點的大數據量的傳輸，中間數據的傳輸已經成為制約性能的的瓶頸。本文提出reduce任務放置算法，將目標任務調度到其相關map任務所在的物理節(jié)點或者同一機架內以此來獲得中數據，提高本地化讀取數據性能。由于key值是需要直到map任務結束之后才能被計算，本輪提出了一種基于水池抽

3、樣的方法來獲取中間鍵值的分布情況。基于這個抽樣的出來的數據分布比較好的接近原始數據的分布，基于這個中間鍵值的分布來執(zhí)行分區(qū)策略，跨機架之間通信通過考慮它的距離和損耗將對應于map任務相關的reduce任務調度值其相近的物理節(jié)點來獲取中間數據的本地性。論文基于Hadoop2.4.0來實現CORP(Correlation-oriented reduceplacement)算法并且通過sort，grep，join這三種作業(yè)類型來對其性能進行評

4、估，實驗的結果也顯示該算法在對其數據本地性和reduce負載有了較大的改善，但是由于前期的抽樣帶來的額外的負擔使得論文中CORP算法對于執(zhí)行時間方面的優(yōu)化不是特別的大。
　　本論文不僅在Hadoop的集群環(huán)境中基于數據傾斜實現了任務的放置的研究，并且將該方法至于云環(huán)境中通過虛擬機來實現任務的放置。任務虛機啟動的位置越是靠近存儲節(jié)點，獲得的本地化數據就越多?；诂F有的模型和工作提出了虛擬機啟發(fā)式遷移HM(Heuristic Migr