主題優(yōu)化過濾方法研究與應用.pdf

1、在文本挖掘領域，主題模型受到越來越高的關注。生成的主題作為數據的隱含表述，獲得了富含語義且低維的特征。但是現階段主題模型構建方法所生成主題的質量卻不盡如人意，因此如何提升主題質量這一問題得到了許多研究者的關注。
　　本文針對主題質量這一問題，提出了一系列對主題進行過濾優(yōu)化的方法，包括:在語料庫預處理中引入詞性分析這一概念，只保留文檔中有用的名詞和動詞，利用主題語義一致性評價主題質量并設定閾值，對噪聲主題進行過濾;針對主題中的詞匯進

2、行主題詞判定，對主題中的噪聲詞匯進行過濾。通過文本分類來驗證所提方法的有效性。文章主要工作包括以下兩個方面:
　　主題的過濾方法。要想得到較好的主題過濾效果，就需要一個精確的主題質量評價指標。傳統(tǒng)的主題一致性只是根據當前語料庫來對主題質量進行判定，沒有利用外部語料庫來對其進行語義調整。本文利用一個外部語料庫(Wikipedia2014)生成詞向量，根據詞向量來計算兩個單詞的語義相似度，再與主題一致性中的同文檔詞頻矩陣相結合，實現外

3、部語料庫對主題一致性的指導作用，從而更加精確地對主題質量進行評價，再通過設定閾值來過濾噪聲主題，以提高主題模型的質量。
　　主題的優(yōu)化方法。本文利用主題詞判定方法來對主題進行優(yōu)化，認定在當前語料庫中頻繁出現而在一般英語中不常出現的詞匯是主題詞。排除非主題詞，可減少噪聲詞匯的影響。此外，還利用WordNet這一語義層級結構詞典來計算單詞間的關聯度，進而確定主題中的詞匯是否在語義層次方面有關聯，以對主題進行二次優(yōu)化，提高文本分類效果。