分布式結構化存儲調(diào)度服務器的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速普及以及用戶量的劇增，越來越多的企業(yè)正在逐漸失去對數(shù)據(jù)的控制能力，數(shù)據(jù)規(guī)模的快速增長，使傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法提供性能、可靠性和擴展性的保證。云計算概念的提出為傳統(tǒng)數(shù)據(jù)庫的發(fā)展指明了新的方向。自Google于2006年首次正式提出云計算概念以來，經(jīng)過6年發(fā)展，云計算的價值逐漸被學術界和產(chǎn)業(yè)界認可，近年來已經(jīng)成為IT技術發(fā)展的新趨勢。云計算技術與傳統(tǒng)分布式存儲技術結合，產(chǎn)生了新的云數(shù)據(jù)庫服務模式，逐漸克服了傳統(tǒng)數(shù)據(jù)庫擴展性差、

2、管理復雜的缺點。將傳統(tǒng)數(shù)據(jù)庫技術、分布式存儲技術以及云計算技術結合，構造新的具有高性能、高可擴展性以及易于管理的云數(shù)據(jù)庫系統(tǒng)已經(jīng)成為研究熱點之一。
　　本文首先通過對現(xiàn)有的云數(shù)據(jù)庫系統(tǒng)的調(diào)研和分析，提出了一個基于shared-nothing架構，并支持關系操作的云關系數(shù)據(jù)庫框架CRDB。CRDB擁有獨立的元數(shù)據(jù)服務器、索引服務器和支持主流數(shù)據(jù)庫協(xié)議的前端服務器，并基于輕量級關系數(shù)據(jù)庫引擎構建具有高可擴展性的結構化數(shù)據(jù)存儲平臺。然后

3、，結合在項目中的實際工作，論文詳細描述了CRDB中的DSS調(diào)度服務器的核心功能的設計與實現(xiàn)。整個DSS調(diào)度服務器主要工作和特點如下：
　　1.支持標準SQL子集。結合項目需求，利用Lex和Yacc構建了一個SQL解析器，實現(xiàn)了對基本的SQL操作的訪問支持；
　　2.設計具有并行性的分布式查詢計劃。借鑒 MapReduce思想、SQL語義以及數(shù)據(jù)分布特點，設計了一個獨立于查詢語言和存儲引擎的分布式查詢計劃表示方式；根據(jù)SQL語

4、句語法樹，能夠方便的將SQL轉(zhuǎn)換成該分布式查詢計劃；
　　3.支持高并發(fā)網(wǎng)絡通信?；趩尉€程Epoll、非阻塞I/O以及異步回調(diào)函數(shù)機制，設計并實現(xiàn)了一個高性能網(wǎng)絡通信框架，DSS的所有業(yè)務流程都由該框架驅(qū)動；同時，還設計一個了基于管道的定時器，為通信框架提供定時器服務；
　　本文詳細分析SQL語法，構造了一個SQL子集解析器，并提出了一種分布式查詢計劃表達方式，最后基于高性能網(wǎng)絡通信框架，實現(xiàn)了一個分布式查詢框架。相關測試