基于細粒度監(jiān)控的Spark優(yōu)化研究.pdf

1、Spark具有良好的容錯性和擴展性，在業(yè)界已經得到了廣泛的應用，但由于Spark平臺底層實現(xiàn)技術對用戶來說是透明的，而且性能優(yōu)化需要綜合考慮集群資源利用率、Spark負載執(zhí)行效率等多種因素，使得不同類型的負載的分析優(yōu)化變得十分復雜，經驗不足的Spark用戶常常無從入手。Spark的一個特點是支持如Amazon EMR等的云服務，這個特性對于需要處理大數(shù)據(jù)的中小企業(yè)有很大的益處。因此，在云服務上執(zhí)行Spark程序已經成為了一些企業(yè)和科研機

2、構的的彈性選擇。Amazon EMR為需要運行Spark負載的用戶提供了便利。然而為了高效地使用租賃服務，用戶需要在滿足應用需求的前提下，申請分配最優(yōu)的集群資源，以降低租賃成本，然而服務提供商并不能滿足這樣的服務需求。如此一來，集群資源分配的優(yōu)化完全成為了用戶的責任，這對于Spark用戶來說是一個很大的挑戰(zhàn)，更是一個亟待解決的問題。
　　本文針對以上問題，設計并實現(xiàn)了Spark集群細粒度監(jiān)控工具，并在細粒度監(jiān)控的基礎上，完成了以下

3、研究內容：（1）通過對Spark性能影響較大的因素的研究，結合集群資源和Spark歷史運行數(shù)據(jù)的細粒度監(jiān)控，針對不同類型的負載，對Spark的性能優(yōu)化工作進行了研究，優(yōu)化維度包括：數(shù)據(jù)序列化方式、Shuffle管理器、RDD的持久化、數(shù)據(jù)的壓縮、資源調度、文件系統(tǒng)策略等，優(yōu)化目標為提高集群的資源利用率、減少作業(yè)的執(zhí)行時間。（2）通過對Spark負載進行性能建模，以用于預測作業(yè)的執(zhí)行時間，進而優(yōu)化Spark集群資源的分配，集群資源分配優(yōu)化