基于HMM的教育新聞抽取與分類研究.pdf

1、在科學技術飛速發(fā)展的時代，網(wǎng)絡已成為人們生活中一個不可或缺的部分。網(wǎng)絡承載了巨大的信息量，面對這些海量的信息，如何從中快速有效地選擇出用戶感興趣的信息內容是信息檢索中的一個重要問題。有效信息的篩選可看作是Web信息抽取和分類的過程。
　　本文設計了一個基于隱馬爾可夫模型的教育新聞網(wǎng)頁信息抽取與分類系統(tǒng)，主要實現(xiàn)了網(wǎng)頁主題信息抽取、特征選擇與提取、文本分類等功能，并將分類結果存儲在結構化的數(shù)據(jù)庫中，為教育研究與教育實踐管理提供信息支

2、持服務。
　　首先，介紹了Web信息抽取和文本分類的概念，對常見的技術做了分析比較，并給出了結果的評價方法。然后重點介紹了隱馬爾可夫模型及其主要算法。
　　接著，在分析教育新聞網(wǎng)頁的結構特征的基礎上，提出了基于隱馬爾可夫模型的教育新聞網(wǎng)頁信息的抽取方案。先對網(wǎng)頁源文檔進行部分噪音過濾，凈化網(wǎng)頁。然后，采用最大字符串匹配算法獲取新聞標題，并進一步定位新聞主題內容。最后，利用隱馬爾可夫模型對粗略定位的主題內容進行狀態(tài)標注，刪除標

3、記為“噪音”狀態(tài)的信息，即可得到主題信息。
　　然后，針對教育新聞文本的分類問題，設計了可用于進行分類的隱馬爾可夫模型，并分析了其可行性。結合詞頻反文檔頻率和卡方計算選擇出特征詞，并用Apriori算法進一步挑選出具有強關聯(lián)性的特征詞組。計算詞、詞組與文本類別的相關度并選擇相關度最大的類別作為當前文本的類別。
　　最后，實現(xiàn)了基于隱馬爾可夫模型的教育新聞網(wǎng)頁信息抽取與分類系統(tǒng)。從網(wǎng)上下載900多篇網(wǎng)頁和3000篇文檔用于測試