搜索引擎并行計算框架的設計與實現(xiàn).pdf

1、隨著技術的日新月異，各種新思想在搜索引擎領域不斷的提出。由于搜索引擎所需要處理數(shù)據(jù)量極大且這些數(shù)據(jù)更新速度極快，傳統(tǒng)的串行計算已不能滿足搜索引擎中的計算需要，因此大規(guī)模搜索引擎中無一例外的采用了并行的方式。而在這種前提下并行編程的高難度，成了新思想應用到實際中的主要障礙,為此Google提出了一種MapReduce的方法來解決這個問題。
　　本課題研究的目的在于實現(xiàn)了一種通用的并行架構模型——MapReduce模型，使得開發(fā)人員在

2、開發(fā)新的并行程序時可以脫離繁瑣的并行編程，降低其復雜度，提高新思想應用的速度，并在MapReduce模型的基礎上加以擴展。
　　本課題對搜索引擎中所需要的并行計算進行了分析，并在分析傳統(tǒng)并行算法的基礎上，實現(xiàn)并擴展了MapReduce框架。本文主要研究內(nèi)容如下：
　　(1)分析搜索引擎中并行運算，根據(jù)其特點得到需求。
　　(2)分析傳統(tǒng)并行算法，結合其特點分析MapReduce思想，并根據(jù)其思想設計實現(xiàn)了基于C++的M

3、apReduce系統(tǒng)
　　(3)在網(wǎng)頁內(nèi)容的模糊去重算法應用中發(fā)現(xiàn)MapReduce架構在Mapper結果的歸并過程調(diào)度上的不足，并設計實現(xiàn)了相應的解決方案，在原有的MapReduce框架的基礎上進行了擴展。
　　(4)根據(jù)實際應用，分析MapReduce實際效率。
　　通過大規(guī)模試驗，最終我們發(fā)現(xiàn)：在實際應用中隨著MapReduce框架的引入，用戶所編寫并行程序的代碼量大幅度降低，在一些應用中用戶所需要編寫的代碼量由