BC-BSP系統(tǒng)中容錯與動態(tài)負載均衡機制研究與實現(xiàn).pdf

1、圖是計算機科學中最常用的一類抽象數(shù)據(jù)結構，特別適合表達現(xiàn)實世界中各種復雜的關系。在圖數(shù)據(jù)挖掘領域中，有很多算法需要多次迭代才能得到最終結果。針對這一需求，基于BSP模型的大規(guī)模圖處理系統(tǒng)應運而生?，F(xiàn)有的基于BSP模型的大數(shù)據(jù)處理平臺中，Pregel、Giraph和Hama等系統(tǒng)雖然都能很好地處理大規(guī)模圖數(shù)據(jù)，然而各平臺在集群環(huán)境下都可能由于不穩(wěn)定因素導致系統(tǒng)出現(xiàn)故障，而且它們的容錯機制也不盡相同，很難得出高效統(tǒng)一的方案。另外，這些系統(tǒng)由

2、于采用Master/Slave架構，將不可避免地會出現(xiàn)Master單點故障，而這些系統(tǒng)很少能夠提出有效的解決方案。而且，這些系統(tǒng)還可能出現(xiàn)由于計算節(jié)點硬件問題或節(jié)點負載不均衡而導致的作業(yè)的“水桶效應”問題。因此，全面并規(guī)范實現(xiàn)基于BSP模型的大規(guī)模圖處理系統(tǒng)的容錯機制以及有效實現(xiàn)動態(tài)負載均衡機制是課題研究的重點和難點問題。
　　針對上述問題，本文設計并實現(xiàn)了基于BC-BSP系統(tǒng)的容錯和動態(tài)負載均衡機制。本文的主要貢獻如下:第一，對

3、于BC-BSP系統(tǒng)的容錯機制，本文提出了異常處理模型。該異常處理模型對系統(tǒng)可能出現(xiàn)的異常制定了完善的偵測方案，同時，通過對異常進行規(guī)范編碼可以結合相應的異常處理機制有效地處理系統(tǒng)中的各種異常;第二，本文還為BSPController節(jié)點提供了HA機制以解決BSPController節(jié)點單點故障的問題。本文實現(xiàn)的BSPController HA機制通過采用熱備的方案實現(xiàn)，并將BSPController備份信息存儲在HDFS上以便保持主備節(jié)

4、點的信息同步。通過Zookeeper服務，BSPController HA機制有效地實現(xiàn)了BSPController節(jié)點故障偵測和主備節(jié)點自動切換;第三，本文設計并實現(xiàn)了動態(tài)負載均衡機制。通過收集任務的相關決策信息并按照本文設計的選擇方案可以正確選擇短板任務，然后根據(jù)相應的遷移策略實現(xiàn)短板任務遷移。通過該機制可以有效實現(xiàn)短板任務遷移并改變節(jié)點負載，從而提高作業(yè)的運行效率。
　　經(jīng)過實際部署和測試，基于BC-BSP系統(tǒng)的容錯機制和動