面向工業(yè)大數據存儲虛擬化遷移方法研究.pdf

1、近半個世紀以來，在摩爾定律的支配下，信息技術呈現(xiàn)出了前所未有的繁榮景象，互聯(lián)網技術也不斷改革創(chuàng)新。根據IDC預測，當前形勢下每年產生的數據量高達8ZB，到2020年這個數字將逐漸增加至40ZB，這預示著大數據時代已經到來。隨著大數據對工業(yè)企業(yè)各種限制的不斷突破，數據將會在工業(yè)產業(yè)鏈甚至跨產業(yè)鏈間，創(chuàng)造出高于現(xiàn)在數倍的產值。McKinsey曾對交通業(yè)、金融業(yè)等七大領域進行預測，數據每年創(chuàng)造的經濟價值將高達四萬億美元，甚至有專家預測，當數據

2、實現(xiàn)開放流通并逐漸成為生產要素后，人類社會將真正迎來工業(yè)互聯(lián)網時代。
　　通常情況下，工業(yè)企業(yè)的信息數據系統(tǒng)會包含多個不同的業(yè)務系統(tǒng)，并且每個業(yè)務系統(tǒng)也都包含有各自的在線系統(tǒng)、歸檔系統(tǒng)和備份系統(tǒng)。企業(yè)出于對成本的考慮，存儲系統(tǒng)會把在線業(yè)務平臺的數據遷移到后端的大數據平臺，但是數據遷移的過程極為復雜，需要解決的問題也較多。在上述諸多問題中，本文主要研究其中的兩個問題，首先將在線數據遷移至大數據平臺的過程中，數據的遷移效率有待提高；其

3、次，數據遷移至大數據平臺后，平臺的各個節(jié)點之間數據的動態(tài)遷移的系統(tǒng)開銷有待降低。根據上述兩個問題，我們分別提出基于任務調度機制的數據遷移方法和基于遷移開銷敏感的遷移方法對問題展開研究：
　　具體內容如下：
　　⑴本文首先對MapReduce分布式架構、HBase數據庫、HDFS分布式文件系統(tǒng)、Key/Value存儲系統(tǒng)等關鍵技術進行詳細介紹，并對PSO算法和ABC算法的基本原理進行了深入研究。
　?、漆槍⒃诰€數據數據

4、遷移到大數據平臺的需求，本文提出一種基于任務調度機制的數據遷移方法。為了對上述方法進行實驗分析，我們使用了Hadoop架構進行實現(xiàn)，并通過與Hadoop默認的FIFO任務調度機制進行比較，驗證方法的有效性。
　?、菍τ诜植际酱鎯ο到y(tǒng)而言，數據遷移是實現(xiàn)不同節(jié)點之間動態(tài)擴展與彈性負載均衡的關鍵技術。如何降低遷移開銷是提供商需著力解決的問題。現(xiàn)有方法大多是針對非虛擬化環(huán)境下的數據遷移問題，對于大數據環(huán)境下的分布式存儲系統(tǒng)而言，這些方法