校園網有害信息監(jiān)測系統(tǒng)設計與實現.pdf

1、本論文在現有搜索引擎核心技術進行研究的基礎上，設計實現了校內搜索引擎系統(tǒng)暨一種基于搜索引擎采用主動掃描探測方法進行校園網有害信息監(jiān)控的校園網有害信息監(jiān)控系統(tǒng)。
　　通過調研分析各大搜索引擎的工作原理，研究網絡蜘蛛技術實現的功能、原理及搜索策略，基于JAVA語言及Oracle數據庫，采用網絡編程技術(分析HTTP1.1協(xié)議、Socket連接)、數據庫技術(JDBC連接、BOLB字段處理等)及多線程技術，設計并實現了網絡蜘蛛部分，可對

2、指定域的網站進行抓取和網頁分析，實現了對htm、html、asp、php、jsp等類型網頁的自動抓取，并將網頁數據存儲到本地數據庫中，為搜索引擎提供數據基礎。
　　研究中文分詞算法，通過比較分析，采用逆向最大匹配和二級哈希散列算法，實現中文分詞，對網頁數據庫中網頁進行分詞并建立索引庫。
　　基于J2EE架構，采用數據庫編程技術、web編程技術，以網頁數據庫及索引庫為數據基礎，開發(fā)了基于web的搜索引擎系統(tǒng)。
　　以搜索

3、引擎系統(tǒng)為基礎，建立了包括非法web服務網站掃描、有害信息監(jiān)測、后臺智能啟動、有害詞庫管理、站點管理、重大事件管理、用戶管理、系統(tǒng)管理等模塊的有害信息監(jiān)測系統(tǒng)，可定時對所有站點或指定站點進行搜索，并將搜索到的有害信息發(fā)送到指定郵箱報告管理員或在管理平臺中列出所有當前搜索到的有害信息，起到有效的有害信息預警作用；同時實現對有害信息的管理，對有害信息進行分類(政治、色情、暴力等)；將重大違規(guī)事件存入數據庫；結合域名管理，找到有害信息來源網站