基于Hadoop的RSS內容抓取與排版系統(tǒng)的開發(fā).pdf

1、在過去的幾年里，互聯(lián)網技術和云計算技術由于分布式存儲與可伸縮的彈性服務等優(yōu)點，極大推動了社會各方面的發(fā)展。對傳統(tǒng)內容提供商和出版行業(yè)造成了沖擊也帶來了機遇。傳統(tǒng)的出版物：新聞報紙、雜志、書籍的生成過程大部分是一個手動過程，成本較高，速度慢，樣式死板，選擇少。在此背景下，本文開發(fā)了一個RSS內容抓取與排版系統(tǒng)，利用Hadoop實現(xiàn)自動地分布式抓取RSS源內容并且解析網頁內容，根據(jù)客戶訂閱的內容按模板自動生成出版物，并將其傳送到與網絡連接的

2、打印機。
　　首先，本文分析了基于Hadoop的RSS內容抓取與排版系統(tǒng)的功能需求與非功能需求，并進行了架構設計。系統(tǒng)采用分布式架構，分為五大子系統(tǒng):
　　①Portal子系統(tǒng)，是開放式的服務提供的公共門戶，負責發(fā)布內容、注冊出版物、并訂閱出版物；
　?、贘ob Server子系統(tǒng)，負責任務調度，將Portal服務進行任務拆分、分發(fā)和協(xié)調；
　?、踂ebkit Cluster子系統(tǒng)，負責互聯(lián)網上的網頁抓??；

3、>　?、蹵lgorithm Cluster子系統(tǒng)，基于map reduce框架實現(xiàn)網頁內容的快速提??；
　?、軱ayout Engine Cluster子系統(tǒng)，實現(xiàn)自動排版及出版物生成。
　　接著，本文對Job Server和Layout Engine Cluster這兩個子系統(tǒng)進行了詳細設計和實現(xiàn)，設計了核心流程和多層結構，研究和實現(xiàn)了以下關鍵技術：基于高效動態(tài)并發(fā)框架上的任務調度；采用ActiveMQ、Redis、Mon

4、goDB和HDFS提供靈活高效的數(shù)據(jù)存儲和訪問服務；通過自動排版算法，生成高質量的出版物。
　　最后，本文對本系統(tǒng)進行了配置測試、故障測試、功能測試和性能測試，測試結果表明，系統(tǒng)能同時支持10000個在線用戶數(shù)，達到了預期的目標。目前本系統(tǒng)已在惠普公司個人打印服務事業(yè)部進行了成功實施，既實現(xiàn)了出版商的運營成本的降低，又以選定的模板快速地將輸出物，提供給客戶，平均成本非常小，省去了人工成本，而且生成PDF的時間從2個小時下降到2分鐘