基于hadoop 的數(shù)據(jù)存儲系統(tǒng)的分析和設計

1、基于Hadoop的數(shù)據(jù)存儲系統(tǒng)的分析和設計【摘要】隨著科技的不斷進步，在物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等發(fā)展的推動下，數(shù)據(jù)發(fā)生了“大爆炸”，其規(guī)模呈幾何級上升，“開采”大數(shù)據(jù)（BigData）以挖掘其內(nèi)部蘊藏的“富礦”成為研究焦點。Hadoop是一個用于構建云平臺的Apache開源項目，使用Hadoop框架有利于我們方便、快速的實現(xiàn)計算機集群。Hadoop的框架最核心的設計就是：HDFS（分布式文件系統(tǒng)）和MapReduce。HDFS為海量

2、的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。本文結合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)提出了一個易擴展的高效的基于Hadoop的數(shù)據(jù)存儲系統(tǒng)?！娟P鍵詞】數(shù)據(jù)挖掘，Hadoop1引言1.1數(shù)據(jù)挖掘技術概述數(shù)據(jù)挖掘出現(xiàn)于20世紀80年代后期，90年代有了突飛猛進的發(fā)展，并在進入21世紀后繼續(xù)繁榮。隨著科技的不斷進步，在物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等發(fā)展的推動下，數(shù)據(jù)發(fā)生了“大爆炸”，其規(guī)模呈幾何級上升。如何將這些海量的、復雜的數(shù)據(jù)轉化成人類

3、可理解的、有用的知識，從而指導我們的決策正成為目前面臨的重要的問題。如今，隨著云計算的出現(xiàn)和發(fā)展，數(shù)據(jù)挖掘技術迎來了新的機遇和挑戰(zhàn)?，F(xiàn)在的基于云計算的并行數(shù)據(jù)挖掘與服務的模式。數(shù)據(jù)挖掘的算法可以分布在多個節(jié)點上，并且這些算法之間是并行的。在進行數(shù)據(jù)挖作。系統(tǒng)采用MVC三層架構設計使結構更加清晰，系統(tǒng)易于擴展。在底層，使用Hadoop來存儲、分析和處理巨大的數(shù)據(jù)量，而在高層通過接口直接透明的調(diào)用底層的計算和存儲能力。在整個系統(tǒng)中，我們可以

4、使用HDFS來存儲文件和數(shù)據(jù)。HDFS具有很高的數(shù)據(jù)吞吐量，并且很好的實現(xiàn)了容錯機制。HDFS提供了多種訪問接口，包括API以及各種操作命令。使用HDFS，我們可以為原始的大數(shù)據(jù)集提供存儲空間，對臨時文件進行存儲，為數(shù)據(jù)預處理、數(shù)據(jù)挖掘過程提供輸入數(shù)據(jù)，同時輸出數(shù)據(jù)我們也保存在HDFS中。系統(tǒng)整體架構如圖1所示。2.2系統(tǒng)結構模型結合以上的基本設計思想以及典型的數(shù)據(jù)挖掘系統(tǒng)模型，采用分層的思想，自頂向下每層都透明的調(diào)用下層接口，最頂層為