云計算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究.pdf

1、隨著各行各業(yè)信息化的程度不斷的提高和移動互聯(lián)網的飛速發(fā)展,傳統(tǒng)的計算模式和存儲模式已經不能滿足日益增長的業(yè)務需求,云計算就是在這種背景下提出的一種計算模式,它是一種分布式計算、并行計算和網格計算的商業(yè)發(fā)展,提供了一種按需付費和彈性擴展的服務方式。云存儲是云計算服務架構中的重要組成部分,它提供了可擴展,高容錯的存儲服務。分布式文件系統(tǒng)則提供了對云存儲系統(tǒng)的支撐,其性能的好壞直接影響了云存儲服務能力。
　　分布式文件系統(tǒng)為了提高系統(tǒng)的

2、可靠性和性能一般都采用了副本和緩存的技術,然而復制和緩存卻帶了副本和緩存的數(shù)據(jù)一致性問題。為了解決一致性問題從不同的角度有多種一致性模型可以參考。HDFS是一種面向大數(shù)據(jù)集、高吞吐量應用的一種分布式文件系統(tǒng),在數(shù)據(jù)存儲節(jié)點上它提供了冗余存儲數(shù)據(jù)塊的機制來保證系統(tǒng)的可擴展性和可靠性,然而它采用的是基于管道流的副本數(shù)據(jù)塊更新機制,當面對交互式的應用場景時,它所采用的副本數(shù)據(jù)塊強一致性策略會造成服務性能的急劇下降。
　　本文從分析面向個

3、人用戶的云存儲服務的特點以及用戶使用云存儲服務的習慣出發(fā),在研究了HDFS的技術架構的基礎上設計并實現(xiàn)了基于HDFS的交互式云存儲系統(tǒng),使用了一種可配置的數(shù)據(jù)副本一致策略來提高系統(tǒng)的可用性,并采用了客戶端緩存和合并小文件的方案來提高系統(tǒng)的整體性能。本文的主要工作包括:分析和研究了解決分布式系統(tǒng)中一致性問題可以采用的數(shù)據(jù)同步模型;研究了HDFS所采用的數(shù)據(jù)同步模型,并指出其在提供面向個人的云存儲服務時的不足,提出并實現(xiàn)了一種基于 NWR模