面向Web論壇的自動文摘方法的研究.pdf

1、信息社會的快速發(fā)展在改變?nèi)藗儷@取信息的規(guī)模和方式的同時，也對信息檢索領(lǐng)域的相關(guān)研究提出了新的要求。作為互聯(lián)網(wǎng)上最流行的在線交流和信息發(fā)布平臺，Web論壇在研究領(lǐng)域所受關(guān)注日益增加。由于Web論壇具有數(shù)據(jù)量大、信息重復度高、噪聲信息多等特點，如何快速準確的獲取其主要內(nèi)容成為許多基于Web論壇應用面臨的首要問題，而自動文檔摘要的研究為解決這個問題提供了一種途徑。
　　 在自動文摘領(lǐng)域，通用文摘方法多以學術(shù)或者新聞文章作為研究對象，并

2、基于各種通用特征構(gòu)建。在處理Web論壇文章時，由于該類方法沒有考慮論壇文章的特殊性，在內(nèi)容理解和結(jié)構(gòu)分析上有一定偏差，摘要效果有待提高。而在專用文摘方法領(lǐng)域也缺少處理Web論壇文章的相應方法。本文根據(jù)論壇文章的特點，如以帖子為基本組成結(jié)構(gòu)、噪聲回復多、同義詞專用詞?，F(xiàn)、存在大量評論關(guān)系等，對面向Web論壇的自動文摘方法進行研究，提出了相應的專用文摘方法，并通過實驗證明了其有效性?？偨Y(jié)本文主要貢獻如下：
　　 1.根據(jù)文章內(nèi)容連貫

3、性標準，提出了基于上下文相關(guān)性的噪聲回復過濾算法。根據(jù)論壇文章同義詞專用詞多的特點，在相似度計算中引入了論壇專用詞匯詞典。通過實驗證明，該方法在過濾噪聲回復時有較高的準確率和正確率，而論壇詞典能夠有效提高語義相似度計算的準確性。
　　 2.提出多種特征用以描述論壇文章的特點。根據(jù)討論式文體的特點，本文提出了提及和引用兩種特征。其中提及特征描述用戶間的關(guān)系，而引用特征描述帖子間的關(guān)系?；谶@些特征使用了多特征的句子權(quán)重計算方法。在

4、相關(guān)實驗中，本文提出的特征能有效提高摘要方法的效果，其中提及和引用特征的效果是所有特征中最明顯的。
　　 3.提出了基于k-Means和基于LDA模型的子主題識別方法。在LDA方法中，通過LDA模型對文檔集合建模，獲得文章的潛在子主題，并計算出子主題和句子的重要度。通過實驗證明，基于LDA模型的方法在描述子主題時效果優(yōu)于基于k-Means的方法。
　　 4.基于以上幾項改進，本文提出了一個面向Web論壇的自動文摘方法。該