綜合風(fēng)險垂直搜索引擎的研究與實現(xiàn).pdf

1、隨著Intemet信息的爆炸性增長以及信息多元化的發(fā)展，通用搜索引擎已經(jīng)無法提供令專業(yè)人員滿足的行業(yè)知識搜索，而提供專業(yè)信息搜索服務(wù)的垂直搜索引擎正逐漸成為當前搜索引擎研究的熱點。文章分析當前Web信息檢索的模型及算法，并針對基于文本分類器的綜合風(fēng)險行業(yè)信息垂直搜索中的一些關(guān)鍵問題展開研究，主要包括三個核心模塊：綜合風(fēng)險的信息分類、信息爬取和信息索引。研究內(nèi)容包括： 1．提出了一種遺傳算法與支持向量機相結(jié)合的Web文本分類器模型

2、。結(jié)合HTML標記權(quán)重信息建立向量空間模型，彌補了特征項在文本集合中分布的差異。向量空間的特征選擇上采用改進了交叉算子的遺傳算法，降低了向量維數(shù)。分類算法分析了支持向量機在Web文本分類中的優(yōu)勢，采用支持向量機算法，通過對比實驗證明了該分類器模型的有效性。 2．改進了爬行器中動態(tài)搜索的Fish算法。去掉了Fish算法中對風(fēng)險信息爬取意義不大的中間部分，改進了Fish算法中的URL排序算法。爬蟲設(shè)計上提出了基于Strategy模式

3、的搜索策略模塊設(shè)計，提高了系統(tǒng)的可擴展性。 3．建立了一個單漢字索引數(shù)據(jù)庫。分析了基于分詞的索引模型和基于單漢字的索引模型，針對綜合風(fēng)險詞匯更新較快的特點和分詞索引的不足，利用倒排索引技術(shù)建立了單漢字索引數(shù)據(jù)庫。用戶查詢使用“首字定位，全詞匹配”的查詢算法，提高了查詢效率。 4．設(shè)計實現(xiàn)了一個綜合風(fēng)險垂直搜索引擎，提供風(fēng)險行業(yè)的信息搜索專業(yè)性服務(wù)，具有良好的可擴展性。 本課題得到了“十一五”國家科技支撐計劃重點項