基于Hadoop的網絡文本分析技術研究與實現.pdf

1、由于移動設備和互聯網網絡的快速發(fā)展，互聯網上產生的信息呈指數級的增長。處理海量數據的兩個關鍵問題就是海量數據的存儲和計算問題，傳統(tǒng)的文本處理系統(tǒng)在這兩個方面都不能滿足海量網絡文本分析的需求。如何高效的實時獲取網絡信息，實現海量文本數據的存儲和計算是目前學術界和工業(yè)界共同關注的問題，因此對一問題的研究具有重要的意義。
　　面對海量數據的存儲與計算問題，云計算和大數據處理技術從概念的提出到投入應用，為網絡文本分析提供了新的方向。一些開

2、源框架不斷出現，目前最流行的就是Hadoop平臺，底層采用HDFS分布式文件系統(tǒng)以實現海量數據的存儲，使用MapReduce編程框架實現對大數據的并行計算，以及采用列數據庫HBase實現對結構化數據的存儲。在這一平臺下，開發(fā)人員無需過多關注分布式存儲和計算的實現細節(jié)，從而讓用戶把更多的精力用在核心業(yè)務的實現上。
　　本文圍繞著基于Hadoop平臺下的網絡文本處理展開，研究的內容包括網絡文本的獲取、分布式檢索功能構建以及文本聚類分析

3、，本文的具體工作包括以下幾個方面:
　　第一，本文提出基于Hadoop的獲取網絡數據實現方案，該系統(tǒng)由四個模塊組成，它們的功能分別是，爬取網頁數據、分析網頁數據里的URL、對URL去重，以及抽取網頁數據里的有用信息。本文給出了系統(tǒng)詳細實現方法，包括各個功能模塊的邏輯流程圖、每個模塊使用的數據存儲結構。最后，本文實驗的運行結果表明，基于Hadoop平臺下的網絡數據獲取方法比單機系統(tǒng)從效率上有很大的提高。
　　第二，本文提出了基

4、于Hadoop分布式檢索功能構建，為了使Lucene能很好的運行于Hadoop平臺下，本文首先對Lucene存儲功能進行了擴展，使Lucene能支持對HDFS文件系統(tǒng)的讀寫。其次，基于MapReduce框架建立索引的功能由二個模塊組成，一個完成了中文分詞并行化的實現，另一個完成了倒排索引并行化的實現。最后，該系統(tǒng)經過測試，能在Mapduce框架下并行的建立索引，并且以標準尺寸的數據塊形式存放在HDFS里。
　　第三，實現了基于Ha