可定制的垂直搜索引擎研究與實現.pdf

1、由于Web海量信息處于不斷的變化中，通用搜索引擎已經很難再為用戶提供一個高質量的、全面并且更新及時的信息搜索服務。通用搜索引擎試圖索引全部Web信息并服務于所有領域的查詢請求。相比之下，垂直搜索引擎只覆蓋與特定領域主題關鍵詞相關的Web區(qū)域，這樣搜索的內容可以更深，搜索的周期可以更短。由于Web分類眾多，領域又廣，用戶希望能對所提供的服務定制。可定制的垂直搜索引擎應該從人的角度去設計，讓用戶選擇自己感興趣的領域服務，這樣會吸引更多的用戶

2、。因此，能滿足用戶對快速、準確、方便的獲取信息資源的要求。目前，垂直搜索引擎正成為計算機科學界和信息產業(yè)界爭相研究、開發(fā)的對象，可定制的垂直搜索引擎更具挑戰(zhàn)性和吸引力。 本文首先簡要介紹了搜索引擎的發(fā)展現狀，分析了存在的優(yōu)缺點，然后通過對當前通用搜索引擎技術的學習和研究，結合可定制的垂直搜索引擎的特點，設計出了可定制的垂直搜索引擎的總體架構及核心模塊：網頁抓取模塊、分詞儲存索引模塊和網頁檢索模塊、可定制模塊。然后本文分章節(jié)詳細分

3、析、設計和實現了這四個模塊。它們構成了本文的核心部分。通過對垂直搜索引擎的Web信息抓取模塊的設計和實現，完成了基本的網頁抓取工作；本文采用了海量智能分詞研究版（免費）來分詞，結合Lucene實現了文檔的存儲與索引；在網頁檢索模塊中，本文采用BFU排序算法來對網頁進行排序，最后本文給出了函數的具體形式及收斂性證明；通過對各大垂直搜索引擎的親身體驗和仔細研究，分析出存在的不足及改善方法，于是本文設計了可定制的實現流程圖及功能定制。本文最后