分布式網絡爬蟲的研究與實現(xiàn).pdf

1、隨著互聯(lián)網技術的飛速發(fā)展，人們在工作和生活中對互聯(lián)網信息的需求也越來越多，搜索引擎技術的重要性越加明顯。互聯(lián)網信息在很多方面都有非常廣泛的應用，搜索引擎技術已經深入人心，融入人們的生活，對人們的生活影響越來越大，而網絡爬蟲是搜索引擎中非常重要的一個部分。
　　目前，基于單機的網絡爬蟲抓取能力已經不能滿足當前互聯(lián)網的需求，這樣就促使了基于分布式網絡爬蟲技術的出現(xiàn)。構建分布式系統(tǒng)，多臺機器有效的合作分工，提高了超大數(shù)據(jù)量的計算速度，提

2、高了網絡爬蟲的抓取性能。運用分布式存儲，對整個系統(tǒng)數(shù)據(jù)的存儲的性能也能大大提高。
　　本文詳細介紹了分布式網絡爬蟲，設計并實現(xiàn)了基于Hadoop平臺的分布式網絡爬蟲，以解決單機網絡爬蟲的速度慢、效率低下等問題，本文的主要研究工作如下:
　　(1)介紹了搜索引擎技術，分布式網絡爬蟲的工作原理和關鍵技術，分布式網絡爬蟲整體系統(tǒng)的架構設計，分析了關鍵組成模塊的具體實現(xiàn)流程和實現(xiàn)原理，各模塊的MapReduce的實現(xiàn)方式。
　

3、　(2)針對網頁抓取模塊的已有算法影響抓取內容和抓取速度的問題，提出了URL權重算法的優(yōu)化方法，在抓取過后，對URL的過濾和去重也是極其重要的環(huán)節(jié)，對URL去重策略也進行了優(yōu)化，解決了網絡爬蟲抓取方面速度慢、抓取內容冗余的問題，大大提高了網絡爬蟲抓取速度和準確度。
　　(3)搭建分布式系統(tǒng)的測試環(huán)境，從功能性測試、性能測試、可擴展性測試三個方面設計了測試方案，并對URL權重算法和URL去重策略優(yōu)化前后進行了對比測試。
　　總