基于LDA和WordNet的研究主題動態(tài)演進挖掘.pdf

1、目前，互聯(lián)網(wǎng)中存在大量的電子科技論文檔案，如何管理和分析這些文檔已經(jīng)變得越來越重要。本文以此作為切入點，著重挖掘論文集中潛在的研究主題以及主題的動態(tài)演進規(guī)律。本文采用LDA作為挖掘科技論文研究主題的工具，在 LDA的基礎(chǔ)上加入WordNet豐富文檔集語義知識，然后利用本文的方法對論文集中的主題以及主題動態(tài)演進挖掘進行了探討。由于論文集中含有豐富的作者信息，本文最后也對作者的主題以及主題動態(tài)演進進行了挖掘。具體來說本文主要研究內(nèi)容包括以下

2、三個方面：
　?。?）基于LDA和WordNet的研究主題挖掘。對主題挖掘相關(guān)技術(shù)做了深入研究，選擇了LDA模型作為主題挖掘工具。但在研究過程中發(fā)現(xiàn) LDA有很多不足，提出在應(yīng)用LDA模型之前和之后分別加入WordNet。所謂在應(yīng)用LDA模型之前應(yīng)用WordNet，用WordNet加入單詞的同義詞到詞匯集中，然后再利用LDA挖掘研究主題。所謂在應(yīng)用LDA之后應(yīng)用WordNet，首先利用LDA得到研究主題，然后用WordNet合并研

3、究主題中的相應(yīng)同義詞。為了驗證方法的有效性，我們對此進行了相關(guān)的實驗。
　?。?）研究主題隨時間的動態(tài)演進挖掘。具體來說有兩種方法：1）基于概率模型的方法。根據(jù)主題文檔矩陣得到每篇文檔屬于每個主題的概率，然后將文檔集中的文檔以某時間段為單位分組，在每一個文檔小組中，以所有文檔屬于主題概率的均值作為主題強度，然后將主題在所有時間段的主題強度圖像化顯示即可得到主題的動態(tài)演進規(guī)律。2）基于聚類的方法。設(shè)定閾值，如果文檔屬于主題的概率大于

4、這個閾值，則認為其屬于主題，然后將主題中的文檔以某時間段為單位進行分組，以此時間段內(nèi)的文檔數(shù)作為主題的主題強度，然后將主題在所有時間段的主題強度圖像化顯示即可得到主題的動態(tài)演進規(guī)律。實驗結(jié)果顯示兩種方法得出的結(jié)論是基本一致的。
　　（3）作者的研究主題及其動態(tài)演進挖掘。由于文檔集中含有大量的作者信息，對作者的相關(guān)主題進行了挖掘。然而發(fā)現(xiàn)單一作者的相關(guān)論文數(shù)據(jù)比較稀疏，對其進行實驗的結(jié)果不理想，提出利用co-author關(guān)系構(gòu)建作者