流聚類(lèi)技術(shù)在微博中的應(yīng)用.pdf

1、微型博客是一種日益興起的新型社交網(wǎng)絡(luò)，在微博中，用戶(hù)之間不僅可以建立好友關(guān)系，還可以進(jìn)行學(xué)術(shù)交流、通過(guò)簽到分享自己在不同地點(diǎn)所參與的事件以及對(duì)熱點(diǎn)問(wèn)題進(jìn)行關(guān)注和討論。它具有發(fā)布信息快，信息傳播速度快的特點(diǎn)。但是因?yàn)橛脩?hù)眾多，數(shù)據(jù)量過(guò)大，且數(shù)據(jù)為動(dòng)態(tài)傳輸，使用傳統(tǒng)的靜態(tài)數(shù)據(jù)分析方法對(duì)其進(jìn)行分析就不再適合，而需要用到流聚類(lèi)的方法。本文中，我們把流聚類(lèi)分為兩個(gè)層次，其中在線的微聚類(lèi)層用于暫時(shí)性地處理和存儲(chǔ)摘要統(tǒng)計(jì)信息，由于該組件僅針對(duì)摘要統(tǒng)計(jì)

2、信息進(jìn)行處理，從而能夠處理流速和流量較大的數(shù)據(jù)流;另一層是離線的宏聚類(lèi)組件，針對(duì)這一層，我們可以根據(jù)需要調(diào)整輸入的參數(shù)（如類(lèi)或時(shí)間段的個(gè)數(shù)）來(lái)對(duì)在線微聚類(lèi)層所存儲(chǔ)的摘要統(tǒng)計(jì)信息進(jìn)行聚類(lèi)，以便能夠以不同角度和方式對(duì)數(shù)據(jù)流的聚類(lèi)結(jié)果進(jìn)行分析，從而提高了聚類(lèi)結(jié)果的精確性和可理解性。之后，本文針對(duì)微博數(shù)據(jù)的特點(diǎn)引入一個(gè)用戶(hù)影響力因子，將之作為微博的權(quán)值，從而得到針對(duì)微博流聚類(lèi)更加精確的結(jié)果。本文還使用了基于PCA的文本降維技術(shù)對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行了