Blog檢索中的關(guān)鍵問題研究.pdf

1、本文針對(duì)當(dāng)前互聯(lián)網(wǎng)環(huán)境及對(duì)文本情感分析技術(shù)的需求，研究了Blog檢索中的網(wǎng)頁(yè)信息抽取和文本情感分析問題，主要?jiǎng)?chuàng)新工作和成果如下： 第一，提出了一套高效、健壯的網(wǎng)頁(yè)文本抽取算法。 該算法克服了主流的基于DOM模型的網(wǎng)頁(yè)文本抽取算法性能的性能缺陷，首次以SAX接口實(shí)現(xiàn)了對(duì)頁(yè)面框架結(jié)構(gòu)信息的利用。提出了基于全局噪聲信息去重的方式提取頁(yè)面正文的方法。 該方法被應(yīng)用在TREC Blog06數(shù)據(jù)集上，在將文檔集規(guī)模壓縮87.

2、5％的同時(shí)，提高相關(guān)性檢索性能指標(biāo)52.5％以上。 第二，提出了基于統(tǒng)計(jì)模型的情感分析中的幾組關(guān)鍵特征。 對(duì)情感分析中詞匯的N-gram特征及其各種權(quán)重計(jì)算方法、詞性特征、否定詞特征和同義詞擴(kuò)展特征在當(dāng)前情感分析領(lǐng)域的應(yīng)用和效果進(jìn)行了分析。通過(guò)詞級(jí)別和句子級(jí)別的情感極性分類實(shí)驗(yàn)，分析了幾種特征及其各種組合的應(yīng)用效果，發(fā)現(xiàn)詞性、否定詞等高級(jí)文本特征在用于詞級(jí)別情感分析時(shí)需要與位置信息結(jié)合，同時(shí)這些高級(jí)特征在使用基于統(tǒng)計(jì)的分

3、類模型進(jìn)行句子級(jí)別情感分類時(shí)效果不如單純使用詞的Unigram特征。 使用本文發(fā)現(xiàn)的特征組合，詞級(jí)別情感極性分類準(zhǔn)確率達(dá)到88.6％，句子級(jí)別情感極性分類準(zhǔn)確率達(dá)到83.9％。 第三，實(shí)現(xiàn)了一套Blog觀點(diǎn)發(fā)現(xiàn)系統(tǒng)。 該系統(tǒng)引入網(wǎng)站全局噪聲信息凈化網(wǎng)頁(yè)，創(chuàng)造性的結(jié)合段落和篇章全文級(jí)別的檢索結(jié)果，從而大幅度提高了話題相關(guān)性檢索性能。在2008年的TREC Blog測(cè)試中，該系統(tǒng)由于表現(xiàn)出色被列為后續(xù)任務(wù)的基準(zhǔn)系統(tǒng)。