SaaS應用交付平臺中多租房云數據管理關鍵技術研究.pdf

1、隨著云計算的發(fā)展及應用軟件的成熟，軟件即服務(Software as aService，SaaS)作為云計算的一種應用形式，越來越受到重視，已逐漸成為中小企業(yè)應用先進技術的重要途徑。SaaS應用交付平臺推動了SaaS模式的蓬勃發(fā)展，越來越多的個人或機構通過SaaS平臺租賃各種形式的應用，這些應用正在覆蓋人們生活的各個領域，通過應用及應用之間的協同工作，完成搜索、事務管理以及分析等。目前，成熟的SaaS服務提供商多采用一對多的軟件交付模式

2、，成千上萬租戶共享一個應用，業(yè)務數據存儲在服務提供商的共享數據庫中，最終用戶感受不到所使用的實例在同一時間也為其他客戶所共享。支持租戶定制的多租戶共享存儲架構，實現了從操作系統到數據結構等各個級別的資源共享，充分利用了硬件、數據庫等資源，然而單個節(jié)點所能支持的租戶數量受到硬件限制，當租戶需要更多存儲空間和更高服務質量時，需要采用升級硬件的方式實現，難以實現規(guī)模的動態(tài)擴展。隨著SaaS交付平臺租戶數目及信息數據量呈幾何曲線性增長，SaaS

3、交付平臺數據管理正處于由單數據節(jié)點往云中多數據節(jié)點轉變的必然階段，而相應地對SaaS應用交付平臺數據管理能力的期望值也越來越高。
　　 本文致力于SaaS應用交付平臺中多租戶云數據管理關鍵技術的研究，目標在于最大限度地支持快速開發(fā)與交付，保障SaaS應用多租戶的高效運行。SaaS應用交付平臺多租戶云數據管理具有自身的特點，現有云數據管理方法不能有效解決以下問題：(1)SaaS平臺租戶數據彈性擴展問題。SaaS應用交付平臺涉及到大

4、量的SaaS應用，各應用業(yè)務領域不同，數據模式必然千差萬別；每個SaaS應用擁有眾多的租戶，租戶在同一應用下的模式類似，但業(yè)務又不盡相同；即便是同一租戶在不同的發(fā)展階段，數據模式也會有各自的特點。因此，平臺要支持數據存儲模型的彈性擴展，同時，還要解決因為數據管理復雜度的增加而導致的性能下降問題，保證應用的高效運轉。(2)現有云數據放置策略未引入SaaS特征。面對SaaS交付平臺的海量數據，云數據庫分配云中的多個數據節(jié)點為其提供服務，所有

5、SaaS應用所有租戶的數據作為一個整體被分割放置到各個節(jié)點上，由于SaaS平臺租戶共享存儲的特點，云數據庫無法根據數據模式對其進行虛擬化，租戶做為獨立個體的特征往往被忽略，從而導致多租戶數據的混合放置以及單個租戶數據的分散，增加了租戶數據訪問及應用之間數據共享的代價，因此，需要在云數據管理中引入平臺租戶數據的特征，才能有效進行SaaS平臺數據分割及云數據管理的彈性伸縮。(3)缺少多級別、細粒度的SaaS平臺租戶索引支持?，F有的云數據管理

6、機制針對每個用戶建立一個虛擬數據庫，意識不到SaaS應用交付平臺中的應用租戶，無法精確的定位到租戶數據節(jié)點上；同時，在租戶數據共享存儲的局部節(jié)點上，傳統的索引機制已經失效，無法提供有效的租戶邏輯索引，使得租戶的隨機數據操作變的困難。本文以SaaS應用交付平臺中多租戶云數據管理為目標，對SaaS平臺數據模型、云中放置策略、租戶索引等進行了深入研究，主要貢獻概括如下：
　　 ⑴提出一種SaaS平臺多租戶虛擬化方式及高效映射轉換的數據

7、分層模型，通過租戶無關的應用數據模型為開發(fā)商屏蔽多租戶云數據管理技術細節(jié)，通過租戶邏輯模型支持租戶按需定制數據模式以及各業(yè)務系統數據之間的共享關系，通過邏輯存儲模型為平臺運營商屏蔽了云中數據節(jié)點伸縮技術，解決了SaaS應用生命周期云數據管理技術瓶頸問題。針對SaaS平臺“共享數據庫、單實例多租賃、多數據節(jié)點”的需求，以及SaaS應用開發(fā)存在技術瓶頸的問題，建立了SaaS平臺多租戶虛擬化模型及數據分層模型，支持開發(fā)商面向標準SQL(Str

8、uctured Query Language)編程，由平臺支撐SaaS應用的按需定制及運行，能有效支持租戶自主定制，數據統一管理，方便應用之間的數據共享，數據權限模型管理以及事務管理，也方便保證平臺數據節(jié)點在云中的伸縮。通過原型系統驗證，該多租戶虛擬化模型及分層數據模型具有較高的獨立性，支持開發(fā)商使用標準SQL編程；通過模式映射感知多種多租戶共享存儲方式，并根據元數據在各多租戶存儲模型之間進行切換；支持數據節(jié)點的彈性伸縮，為SaaS交付

9、平臺提供了友好數據訪問模式、高一致性、高可伸縮性、高可用性。
　　 ⑵提出一種多稀疏表與鍵值對相結合的多租戶數據邏輯存儲模型，以及支持租戶多級定制的元數據存儲模型，從根本上解決了稀疏表定制能力受限以及數據操作粒度較大的問題，降低了元數據的冗余存儲，簡化了租戶定制過程，增強了租戶按需變更能力，同時，該邏輯模型便于進行數據的分割與放置，為租戶數據在云中的存儲奠定了模式基礎。針對多租戶共享存儲模式下數據稀疏，進而導致存取性能下降的問題

10、，以及租戶定制能力受限、定制數據冗余存儲的問題，通過劃分多個稀疏表，提高了稀疏表的密集程度，避免了SaaS平臺稀疏表中眾多空值導致的存儲空間浪費、存取性能下降及關系連接效率不高的情況，通過鍵值對的擴展存儲機制提高了租戶存儲模型的定制能力，通過元數據的多級存儲模型，解決了元數據冗余存儲的問題，同時提高了定制效率。通過SaaS平臺描述的租戶信息，方便建立元數據驅動的數據分布策略。實驗結果表明，本方案在用戶視圖列數呈正態(tài)分布的情況下，數據密集

11、程度平均提高20％，關系連接效率隨著元組數量增大而顯著提高：定制數據冗余存儲減少達56.7％，是一種行之有效的存儲模型。
　　 ⑶提出一種面向SaaS應用交付平臺的云中多租戶數據分割模型及動態(tài)同步遷移策略，解決了共享存儲模式下無法識別SaaS應用租戶，難以使用快照、日志等數據庫技術進行租戶數據遷移的問題，通過SaaS平臺數據層面的同步遷移策略，完成租戶數據的動態(tài)移植，保證云中各數據節(jié)點的負載均衡及良好的用戶體驗。在云中為SaaS

12、平臺創(chuàng)建一個虛擬數據庫，租戶數據共享存儲，使得云數據庫無法以SaaS應用租戶為單位進行數據管理，如分割、遷移、備份等。為實現數據節(jié)點的彈性伸縮，本文基于租戶個體數據量較小，總體數據海量的特征，通過SaaS平臺元數據驅動的租戶數據分割機制，保證租戶事務性操作能在單個數據節(jié)點完成，盡最大可能避免了分布式事務的處理；從數據層面構建平臺的數據遷移策略，通過獨立的遷移進程移植租戶數據，通過數據引擎對源節(jié)點和目標節(jié)點當前事務進行同步操作，降低了宕機

13、時間和遷移負載，保證了云中數據節(jié)點的伸縮性以及平臺的整體性能。實驗結果表明，本方案在數據節(jié)點數據量達到閾值50％的情況下發(fā)起數據遷移，遷移過程中租戶的訪問請求未受顯著影響，遷移后租戶的訪問代價降低，平臺整體性能得到了提高。
　　 ⑷提出一種SaaS平臺多級別、細粒度索引模型，通過SaaS交付平臺租戶的位置編碼，迅速定位到租戶所屬數據節(jié)點，解決了云數據管理無法識別SaaS應用租戶的問題；在租戶數據節(jié)點上，建立了基于鍵值對模式的租戶

14、邏輯索引，解決共享表存儲模式下租戶索引失效、定制能力不足等問題，提高了平臺數據服務的響應速度。針對租戶數據尚無有效的多級別、細粒度的索引支持的問題，本文通過SaaS平臺租戶節(jié)點索引、租戶邏輯索引、關系數據庫物理索引三部分構成了租戶多級索引模型。通過租戶節(jié)點索引解決了無法隨機訪問相關數據節(jié)點的問題，通過租戶邏輯索引滿足了租戶索引定制、隔離等需求，通過關系數據庫物理索引為邏輯索引提供高效訪問機制，保證了較高的查詢性能。針對租戶邏輯索引，本文