基于Mapreduce的恢復機制和任務調度算法的改進.pdf

1、隨著計算機技術和軟件技術的發(fā)展，云計算作為新的計算模型在短短的幾年間產生了巨大的影響力。Hadoop是一個支持開發(fā)和并行處理大規(guī)模數(shù)據(jù)的分布式云計算平臺，采用的是master/slave框架。在云計算集群中，master節(jié)點有時會發(fā)生異常而產生中斷，如何對master節(jié)點進行恢復是業(yè)界所關注的一個熱點問題。另外，按照MapReduce工作機制，系統(tǒng)將一個任務分割成若干個子任務，并分配到不同的物理節(jié)點進行處理。如何對這些子任務進行調度也受

2、到了IT領域研究工作者的重視。本文在Hadoop的框架以及mapreduce運行模型的環(huán)境下，依托智能計算的相關理論，分別對MapReduce恢復機制和工作調度問題進行研究。具體內容如下:
　　 對已有的MapReduce的歷史恢復機制、同步機制和丟棄機制中阻塞問題產生的過程和原因進行了詳細的分析和總結，在此基礎上，綜合考慮存儲空間利用率和并行平臺的運行效率，提出了一種新的機制。這種機制結合了歷史恢復機制、同步機制和丟棄機制的特

3、點，運用備份進行恢復，通過不攜帶信息的心跳獲得正在工作節(jié)點的列表，最后對沒有發(fā)送心跳的工作節(jié)點進行關閉。實驗結果表明，這種新的機制提高了Hadoop的性能和效率，減少了系統(tǒng)的恢復時間，降低了系統(tǒng)恢復產生異常的次數(shù)。
　　 在對Mapreduce模型進行分析研究的基礎上，提出了基于雙適應度的遺傳算法來解決Mapreduce的任務調度問題，該算法在執(zhí)行過程中不僅考慮了總任務的完成時間，而且考慮到了完成時間方差這個重要的因素。實驗證明