TF-IDF與規(guī)則結合的中文關鍵詞自動抽取研究.pdf

1、關鍵詞抽取工作作為自然語言處理中的一個基礎課題，為信息檢索、文本聚類、自動摘要生成等技術提供基本支持?？梢允褂脩艨焖俜奖愕睦斫馕恼轮饕獌热輳亩袛嗳绾芜M行下一步工作。
　　本文的關鍵詞抽取工作主要分為候選詞識別和關鍵詞抽取兩部分。通過實驗發(fā)現(xiàn)，對于中文關鍵詞抽取任務來說，分詞結果的好壞和候選詞選取的質量將嚴重影響后期的抽取工作。針對此現(xiàn)象，本文將關鍵詞抽取和關鍵短語抽取當作同一工作任務，統(tǒng)一成關鍵詞抽取的研究，并將重點放在候選詞識

2、別部分。
　　針對中文分詞所包含的問題，在候選詞的抽取方面，本文提出了一種結合連續(xù)單字未登錄詞識別和多詞表達式識別的方法來進行候選詞的識別:對于連續(xù)單字未登錄詞，利用簡單的規(guī)則切分連續(xù)單字片段，該方法可以較好的識別出頻率為1的該類未登錄詞;對于多詞表達式，則在規(guī)則抽取的基礎上加入LocalMaxs方法。兩種方法的結合在不依賴語料庫規(guī)模和領域的情況下，可以較好的識別出低頻未登錄詞。
　　通過對前人研究的進行分析發(fā)現(xiàn)，TF-ID

3、F作為關鍵詞抽取的主流特征之一，有著較好的可應用性和可拓展性，因此，本文仍選取TF-IDF作為主要特征，并在其基礎上加入其它特征進行融合?？紤]到兼類詞的不同詞性問題，根據(jù)詞的詞性不同，本文改進了詞的TF計算公式，并考慮到方法的通用性問題，僅加入標題詞權重信息和詞長信息來改進TF-IDF公式進行關鍵詞的抽取工作。
　　本文設計了多組實驗，分別對本文提出的未登錄詞識別方法和關鍵詞抽取方法進行驗證。在關鍵詞抽取方法的驗證中，同時證明了候