基于Hadoop的海量小型XML數(shù)據(jù)挖掘的研究.pdf

1、目前，隨著“互聯(lián)網(wǎng)+”時代的到來，各行各業(yè)都將傳統(tǒng)行業(yè)和互聯(lián)網(wǎng)進行整合，來達到產(chǎn)業(yè)的升級換代，由此必然會產(chǎn)生海量的互聯(lián)網(wǎng)數(shù)據(jù)。XML可以在不同平臺間進行數(shù)據(jù)的表示、存儲和交換，因此XML數(shù)據(jù)在互聯(lián)網(wǎng)數(shù)據(jù)中占據(jù)了絕大多數(shù)。面對如此浩瀚的XML數(shù)據(jù)海洋，如何從中提取出有價值的信息，數(shù)據(jù)挖掘技術(shù)顯示出了強大的生命力。通過數(shù)據(jù)挖掘，可以從海量的、非結(jié)構(gòu)化的、靜態(tài)的XML數(shù)據(jù)集合中，提取出隱含在其中的、未知的、有用的知識和信息，這對于科學(xué)研究與商

2、業(yè)決策等領(lǐng)域具有指導(dǎo)性的重大意義。
　　大數(shù)據(jù)帶來了大機遇，但同時也對快速、高效、低成本的挖掘數(shù)據(jù)提出了挑戰(zhàn)。云計算技術(shù)的泛起為解決大數(shù)據(jù)的這一挑戰(zhàn)帶來了新的機會，其通過分布式結(jié)構(gòu)將存儲和運算任務(wù)平衡的分配給集群中的節(jié)點，從而實現(xiàn)了對超大數(shù)據(jù)集的存儲和運算，使數(shù)據(jù)挖掘變得更加簡捷、高效、易于實現(xiàn)。在眾多的云平臺中，Hadoop以其成熟、開源、高效等特點在數(shù)據(jù)領(lǐng)域得到了普遍的應(yīng)用。結(jié)合Hadoop與數(shù)據(jù)挖掘的優(yōu)勢，本文進行了以下三個

3、方面的研究工作:
　　首先，針對Hadoop在處理海量小型XML數(shù)據(jù)時出現(xiàn)的內(nèi)存占用率高、存儲性能差以及難以對XML這種結(jié)構(gòu)的數(shù)據(jù)進行分析處理的問題，本文對XML數(shù)據(jù)進行解析、合并及編碼等預(yù)處理，使其轉(zhuǎn)變?yōu)檫m合于Hadoop處理的文本數(shù)據(jù)。
　　其次，隨著數(shù)據(jù)規(guī)模的急劇增大，將導(dǎo)致數(shù)據(jù)的掃描和計算所耗費的時間越來越長，致使Apriori算法已經(jīng)無法滿足于大型數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的要求。對此，本文對Apriori算法進行了分析與改

4、進，提出了一種Apriori的改進型算法——XApriori算法，通過對CD并行化策略的改進來對XApriori算法進行并行化處理并且將其與Hadoop平臺相結(jié)合來進行關(guān)聯(lián)規(guī)則的挖掘。
　　最后，本文設(shè)計并且實現(xiàn)了一個以Hadoop為云計算平臺的海量小型XML數(shù)據(jù)分布式挖掘系統(tǒng)——DXMS系統(tǒng)，對其各個小功能模塊進行了闡述。該系統(tǒng)主要是由XML數(shù)據(jù)預(yù)處理模塊和中間數(shù)據(jù)分布式挖掘模塊組成，XML數(shù)據(jù)預(yù)處理模塊采用生產(chǎn)者-消費模式，多