Hadoop云存儲策略的研究與優(yōu)化.pdf

1、隨著云計算技術的發(fā)展以及被業(yè)界所逐漸接受，與之相隨的云存儲系統(tǒng)也得到相應的發(fā)展，越來越多的企業(yè)和科研機構開始使用云平臺構建各自的云存儲體系，而在眾多云平臺中，開源實現(xiàn)的Hadoop云平臺得到了業(yè)界廣泛的應用，包括Yahoo、Facebook以及IBM等。Hadoop云平臺對數(shù)據(jù)的存儲主要是由其分布式文件系統(tǒng)HDFS實現(xiàn)的，因此對于HDFS的研究成為了很多公司構建各自云存儲系統(tǒng)的基礎。
　　 HDFS系統(tǒng)默認的存儲策略雖然可以有效

2、的解決大數(shù)據(jù)的存儲但是在現(xiàn)實應用中卻存在一些不足，在默認的HDFS存儲策略中，數(shù)據(jù)節(jié)點的狀態(tài)信息不夠完善以及隨機選擇數(shù)據(jù)節(jié)點，使得控制節(jié)點在選擇數(shù)據(jù)節(jié)點存儲的時候容易出現(xiàn)系統(tǒng)負載不均衡，另外當隨機選擇遠端節(jié)點進行存儲的時候可能會造成因為節(jié)點之間網(wǎng)絡距離較遠而造成數(shù)據(jù)傳輸時間過長損耗系統(tǒng)性能的現(xiàn)象，同時由于HDFS默認存儲策略采用了固定的數(shù)據(jù)副本個數(shù)，在實際應用中可能會導致系統(tǒng)中數(shù)據(jù)冗余太多，影響系統(tǒng)的負載能力。因此解決了上述問題，就可以

3、在一定程度上提高HDFS系統(tǒng)的存儲性能。
　　 所以，本文在分析HDFS默認策略的不足之后，基于HDFS設計一種優(yōu)化的存儲策略。該策略首先對數(shù)據(jù)節(jié)點的狀態(tài)信息進行完善，為控制節(jié)點在選擇數(shù)據(jù)節(jié)點進行數(shù)據(jù)存儲的時候提供了更多的依據(jù)。其次，該策略可以根據(jù)用戶的實際需求設置數(shù)據(jù)副本系數(shù)。再次，在隨機選擇數(shù)據(jù)節(jié)點時采用了評價值方法，即根據(jù)節(jié)點的負載情況以及與本地節(jié)點的網(wǎng)絡距離計算該節(jié)點的評價值。最后通過將優(yōu)化后的策略部署到仿真實驗平臺上，