近日，亞馬遜云科技中國峰會(huì)在上海召開。亞馬遜云科技的眾多技術(shù)合作伙伴受邀出席峰會(huì)，圍繞“構(gòu)建新格局，重塑云時(shí)代”的主題，進(jìn)行了系列主題演講和產(chǎn)品展示，分享云計(jì)算領(lǐng)域的先進(jìn)技術(shù)經(jīng)驗(yàn)與企業(yè)成功實(shí)踐。
Mobvista匯量科技資深架構(gòu)師、EnginePlus產(chǎn)品負(fù)責(zé)人陳緒也來到現(xiàn)場，與嘉賓們分享了在Amazon Elastic Kubernetes Service (Amazon EKS) 上部署Spark的干貨經(jīng)驗(yàn)，并以Mobvista匯量科技自身為例，介紹了Spark on Amazon EKS的業(yè)務(wù)實(shí)踐成果。
Spark on EKS: 業(yè)務(wù)增長帶來挑戰(zhàn)
記者了解到，Spark 作為廣泛應(yīng)用的大數(shù)據(jù)處理框架，提供了豐富的Data Frame接口以及SQL查詢的功能，同時(shí)也可以通過PySpark對(duì)接深度學(xué)習(xí)框架。據(jù)悉，匯量科技使用的Spark集群承擔(dān)了大規(guī)模ETL、數(shù)據(jù)處理分析、Ad-hoc查詢，以及算法模型訓(xùn)練的重要任務(wù)，現(xiàn)在離線計(jì)算集群有上萬CPU核心，每日處理PB級(jí)的數(shù)據(jù)。
陳緒介紹道，其團(tuán)隊(duì)最初采用HDP，在EC2上搭建了彈性的Hadoop服務(wù)，但隨著業(yè)務(wù)規(guī)模的發(fā)展，更多的挑戰(zhàn)開始顯現(xiàn)：一方面，團(tuán)隊(duì)希望各業(yè)務(wù)線之間可實(shí)現(xiàn)資源隔離，同時(shí)具備高效的彈性能力，以保障業(yè)務(wù)產(chǎn)出時(shí)效性；另一方面，系統(tǒng)遇到大規(guī)模的臨時(shí)查詢作業(yè)時(shí)，查詢數(shù)據(jù)量可達(dá)數(shù)十TB，這給集群的彈性伸縮帶來了很大壓力。對(duì)此，陳緒表示：“彈性伸縮的效率影響著作業(yè)執(zhí)行時(shí)間和總體成本。因此，我們通過調(diào)研，開始嘗試通過容器化的架構(gòu)來解決上述問題。
匯量科技業(yè)務(wù)實(shí)踐成果：EnginePlus
陳緒介紹稱，團(tuán)隊(duì)選擇了Amazon EKS服務(wù)來搭建容器化Spark計(jì)算平臺(tái)：“將不同的組件劃分到若干不同的NodeGroup，包括Spark Driver、Spark Executor，以及Zeppelin、Jupyter的Notebook”，從而為不同類型的節(jié)點(diǎn)組配置不同的資源類型，并分別實(shí)現(xiàn)彈性伸縮，獲得更好的性價(jià)比。
提到EC2 機(jī)型選擇時(shí)，陳緒表示，對(duì)于大規(guī)模shuffle的作業(yè)，磁盤的IOPS和讀寫吞吐要求都很高，因此在大規(guī)模ETL集群中，團(tuán)隊(duì)會(huì)優(yōu)先選擇M5d、C5d、R5d等帶有本地nvme磁盤的機(jī)型。在陳緒團(tuán)隊(duì)的生產(chǎn)集群上，IOPS可達(dá)到萬級(jí)別，讀寫吞吐可以達(dá)到GB級(jí)別，而使用本地nvme磁盤機(jī)型，可以很好地解決磁盤性能瓶頸問題。此外，陳緒還從資源管理、作業(yè)狀態(tài)和日志、版本和部分 bug修復(fù)等角度進(jìn)一步探討了Spark on Amazon EKS的業(yè)務(wù)實(shí)踐，并為來賓們介紹了一系列技術(shù)實(shí)踐的成果——匯量科技自研的一站式云原生大數(shù)據(jù)和人工智能平臺(tái)EnginePlus。
據(jù)了解，EnginePlus 將數(shù)據(jù)湖、計(jì)算分析、人工智能集成在統(tǒng)一平臺(tái)上，提供面向多種業(yè)務(wù)場景的實(shí)時(shí)數(shù)據(jù)湖框架 StarLake、機(jī)器學(xué)習(xí)框架 MindAlpha 等自研開源工具，并能夠與 Spark 計(jì)算框架深度集成，其適用場景包括互聯(lián)網(wǎng)金融、出海電商、移動(dòng)廣告等。
陳緒介紹稱，在亞馬遜S3存儲(chǔ)和EKS之上，EnginePlus部署了StarLake數(shù)據(jù)湖框架和Spark云原生計(jì)算框架，從而形成了湖倉一體的統(tǒng)一計(jì)算引擎。在天級(jí)大作業(yè)的遷移中，與Yarn相比，在Amazon EKS上部署Spark后，作業(yè)耗時(shí)大幅縮短。同時(shí)EnginePlus也針對(duì)容器化環(huán)境做了很多bug修復(fù)和易用性提升的開發(fā)工作，幫助用戶更好更方便地在云上使用EnginePlus。
目前，EnginePlus已經(jīng)上線亞馬遜云科技Marketplace，助力全球企業(yè)實(shí)現(xiàn)新一代數(shù)據(jù)智能開發(fā)，解放業(yè)務(wù)生產(chǎn)力。未來，EnginePlus 將與亞馬遜云科技攜手并進(jìn)，以其云原生、一站式數(shù)據(jù)智能的服務(wù)，賦能更多用戶。
