風險主題搜索引擎相關技術的研究與應用.pdf

1、主題搜索引擎是針對某一個行業(yè)的專業(yè)搜索引擎，是搜索引擎的細分和延伸，是對網頁庫中的某類專門的信息進行一次整合。其中的關鍵技術包括中文分詞、主題爬蟲、索引、分布式存儲等，本文重點研究網絡資源的爬蟲和索引的主題搜索技術，具有重要的應用價值。主要工作包括： 1.提出了一種基于內容和鏈接分析相結合計算主題相關度的搜索策略?；赪eb超鏈接評價算法考慮了鏈接結構和頁面之間的引用關系，但忽略了頁面與主題的相關性?；趦热菰u價的算法只注重文本

2、在主題搜索中的重要性，而忽略了Web結構的作用。綜合的搜索策略利用基于內容的評價來提高搜索內容與主題的相關度，同時利用基于鏈接結構的評價來提高主題資源搜索的覆蓋率。 2.改進了Shark-search算法。從隊列維護和檢索時間的角度出發(fā)進行算法的改進，提高了Shark-search算法的時空效率，在主題相似度計算方法上應用了向量空間模型；與主題的相關性判定中，綜合運用了網頁文本內容和Web結構圖的啟發(fā)策略，從待訪問網站的時間性能

3、因素出發(fā)，改進了PageRank算法。 3.給出了基于改進倒排表的索引器設計方案，從索引文件本身的結構出發(fā)進行改進，采用分級的倒排表索引組織結構，提高了索引創(chuàng)建的效率。在索引更新部分設計了索引器的批量索引方法與增量索引方法，實現(xiàn)了索引文檔的動態(tài)更新。將改進后的算法與基于Nutch的索引技術相結合，在此基礎上實現(xiàn)了一個風險主題搜索引擎索引的建立與維護。 4.基于開源項目Nutch，設計并實現(xiàn)了一個風險主題搜索引擎，把自己建