實時流數(shù)據(jù)的存儲技術研究.pdf

1、數(shù)據(jù)庫技術的發(fā)展水平決定著國家信息化程度的高低。隨著生活社會化和網絡化的不斷深入，信息容量的爆炸式增長對數(shù)據(jù)庫技術的發(fā)展提出了更高的要求。伴隨在網絡監(jiān)控系統(tǒng)、金融分析系統(tǒng)、交通流量預測、Web應用等眾多領域中廣泛出現(xiàn)的被稱之為流數(shù)據(jù)(Streaming Data)的新型數(shù)據(jù)模型使傳統(tǒng)數(shù)據(jù)庫技術面臨著嚴峻的挑戰(zhàn)。
　　 流數(shù)據(jù)管理系統(tǒng)的出現(xiàn)彌補了傳統(tǒng)數(shù)據(jù)庫在處理動態(tài)數(shù)據(jù)上的不足，有效地解決了由潛在無限、高速動態(tài)、頻繁變化等數(shù)據(jù)特點

2、決定的，并與傳統(tǒng)數(shù)據(jù)模型不同的數(shù)據(jù)處理方式。流數(shù)據(jù)管理系統(tǒng)著眼于當前流入內存的實時數(shù)據(jù)，然而，幾乎30％-40％的應用涉及歷史流數(shù)據(jù)，因此，若不對流出系統(tǒng)的歷史數(shù)據(jù)有效地進行保存，那么有關趨勢預測、數(shù)據(jù)分析等方面的應用將很難得到滿足。
　　 本文在分析了流數(shù)據(jù)管理系統(tǒng)和關系數(shù)據(jù)庫系統(tǒng)優(yōu)缺點的基礎上，提出了基于流數(shù)據(jù)引擎和關系數(shù)據(jù)庫聯(lián)合系統(tǒng)的存儲體系結構，并從以下三個方面進行了詳細研究：
　　 第一，針對流數(shù)據(jù)管理系統(tǒng)和關

3、系數(shù)據(jù)庫在處理數(shù)據(jù)方式上的不同，通過采用等距無偏采樣和批處理方式實現(xiàn)系統(tǒng)的聯(lián)合，并有效地降低數(shù)據(jù)庫空間的存儲壓力；
　　 第二，依據(jù)用戶或應用程序對數(shù)據(jù)的關注程度，利用在內存中建立基于歷史數(shù)據(jù)的緩存方法來平衡實時數(shù)據(jù)和歷史數(shù)據(jù)在訪問速度上的較大差異，并提出基于數(shù)據(jù)訪問頻率的置換算法來保證緩存的性能；
　　 第三，隨著時間的不斷推移，采用基于時間粒度的二次存儲方法進一步提高外存關系數(shù)據(jù)庫的存儲能力。
　　 最后，較