高可用與高可擴展內存鍵值存儲系統(tǒng)的設計與實現.pdf

1、近年來，服務器內存容量的迅速擴大使得應用程序逐步將更多數據存入內存中，這也引發(fā)一個新的計算模型——內存計算。內存鍵值存儲系統(tǒng)因其語義通用、使用方便而備受關注，如Memcached、Redis等內存鍵值存儲被廣泛應用在Facebook、Twitter、LinkedIn等網絡社交平臺上。內存鍵值系統(tǒng)的特點是將數據以鍵值對的模式存儲在內存中，并提供高速的鍵值索引。利用內存鍵值系統(tǒng)，應用程序可以不用管理存儲數據的結構，甚至能將數據存儲在其它節(jié)點

2、上。
　　內存鍵值存儲系統(tǒng)按服務提供方式可以分為兩類：以網絡服務端的方式為應用程序提供分布式服務（如Memcached）和以第三方庫（Library）的方式為應用程序提供高速的本地服務（如KyotoCabinet）。對于以服務端方式實現的內存鍵值系統(tǒng)，為了避免服務端單節(jié)點宕機時應用程序受影響，應該具有高可用性；而對于以第三方庫方式實現的內存鍵值系統(tǒng)，為了成為避免應用程序在多核平臺上運行的性能瓶頸，應該具有高可擴展性。除此以外，內存

3、鍵值系統(tǒng)應該能為上層提供事務（Transaction）服務,支持 ACID特性的數據操作方式。然而當前的Memcached與KyotoCabinet等尚不具有上述功能。Memcached在單機宕機后失去服務的能力，并丟失數據，不具有高可用性，且不能提供事務服務；而KyotoCabinet存在嚴重的性能可擴展性問題。
　　為此，本文針對這上述系統(tǒng)的問題進行了研究與分析，并設計與實現了高可用與高可擴展的內存鍵值存儲系統(tǒng)。論文的主要貢獻

4、分為以下三個部分：
　　1.針對Memcached的高可用實現，本文所述工作對Cocached進行了優(yōu)化。Cocached是在 Memcached上實現的高可用性內存鍵值系統(tǒng)，它利用糾刪碼解決了主從復制冗余數據過多的問題，其缺點是系統(tǒng)恢復期間為保證數據一致性阻塞了對應用程序的數據修改服務。為此，論文設計了一種一致性非阻塞方法，并在Cocached上增加了在線恢復模塊，允許系統(tǒng)在恢復期間為應用程序提供數據修改服務，同時保證數據恢復的

5、正確性。測試表明，在添加了在線恢復系統(tǒng)模塊后，Cocached恢復期間的吞吐量大量提高，并在讀操作較多的場景下與用主從復制實現的系統(tǒng)性能接近。
　　2.在 Cocached上搭建事務層，使其能提供事務服務。事務層包含多個事務協(xié)調節(jié)點，在這些節(jié)點的幫助下，客戶端成功提交的事務具有ACID特性。事務層也支持高可用性，在事務協(xié)調節(jié)點宕機后，備份的事務協(xié)調節(jié)點能恢復未完成的事務并繼續(xù)提供服務。
　　3.分析KyotoCabinet性