基于互聯(lián)網(wǎng)訪問日志的用戶特征分析研究.pdf

1、隨著信息技術的發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們不可或缺的信息來源。網(wǎng)絡信息資源的爆炸性增長導致信息過載問題日益嚴重，互聯(lián)網(wǎng)上的信息量大大超出互聯(lián)網(wǎng)用戶的需要，大量無關的信息嚴重干擾了用戶對有用信息的準確選擇。海量的信息資源供給和有限的用戶需求之間的矛盾，使得我們必須尋求一種能夠快速、準確地從浩瀚的信息資源中找到所需信息的方法。正是在這樣的需求驅動下，個性化服務技術應運而生，個性化服務是一種有針對性的服務方式，依據(jù)各種渠道對資源進行收集、整理和分

2、類，向用戶提供和推薦興趣信息，以滿足用戶的需求。
　　作為個性化服務技術的核心內容之一，用戶特征分析的目標是分析用戶的興趣愛好、行為等特征信息，用戶特征分析是否準確在很大程度上影響和決定個性化服務系統(tǒng)所提供的服務質量。
　　運營商在為用戶提供互聯(lián)網(wǎng)訪問服務時，往往會存儲用戶的訪問日志數(shù)據(jù)。這些訪問日志蘊藏著豐富的用戶特征信息。本文以某運營商的互聯(lián)網(wǎng)訪問日志數(shù)據(jù)為基礎，通過對其進行分析挖掘，從中得到用戶的興趣特征。本文的工作成

3、果主要有如下四個方面:
　　(1)提出了基于MapReduce的用戶特征項提取并行化算法。該算法以用戶的訪問頁面內容為基礎，依據(jù)詞條在文檔中權重提取出用戶特征關鍵詞。本文詳細介紹了該算法的并行化設計，并且在Hadoop上進行了實現(xiàn)。
　　(2)給出了具有相似特征的用戶的挖掘算法。該算法首先對用戶的訪問頁面進行聚類，然后根據(jù)聚類的結果計算用戶興趣特征相似度。本文用MapReduce、Mahout以及Hive提出了算法的并行化實

4、現(xiàn)策略，在Hadoop平臺上實現(xiàn)了該算法。
　　(3)提出了基于互聯(lián)網(wǎng)訪問日志的獨立用戶識別算法。該算法綜合利用訪問日志中IP、UserAgent、Cookie等字段分析用戶訪問規(guī)律，采用先細分再合并的思路對訪問日志進行分析。依據(jù)該思路，本文首先識別出獨立瀏覽器的日志，然后通過帳號關聯(lián)將瀏覽器日志合并成獨立用戶的日志，實現(xiàn)了對用戶的識別。
　　(4)給出了基于互聯(lián)網(wǎng)訪問日志的用戶特征分析系統(tǒng)設計方案和實現(xiàn)。在本文的設計方案中