如今，隨著企業(yè)業(yè)務規(guī)模的擴張、互聯(lián)網(wǎng)應用的普及以及智能硬件的發(fā)展，可用的信息量及其規(guī)模正在呈現(xiàn)爆發(fā)增長的趨勢。從采集到的異構(gòu)數(shù)據(jù)中挖掘更深層次的信息并進行深度分析來賦予其價值對于業(yè)務發(fā)展來說至關(guān)重要。并且，這些異構(gòu)數(shù)據(jù)的價值在于其時效性，通過對實時流產(chǎn)生的海量數(shù)據(jù)進行實時處理或進行歷史數(shù)據(jù)關(guān)聯(lián)分析等復雜處理可以全方位支持業(yè)務決策的制定，而這些都離不開流計算的支持。

Slipstream是星環(huán)科技自主研發(fā)的一款企業(yè)級、高性能實時流計算引擎，通過提供豐富的組件與產(chǎn)品功能可以幫助用戶快速開發(fā)實時數(shù)據(jù)倉庫、實時報表分析、實時智能推薦、實時欺詐檢測與風險控制等應用。目前Slipstream已在金融 、交通、能源、電信、電商等多個行業(yè)數(shù)百個生產(chǎn)集群中部署使用。

近日，星環(huán)科技實時流計算引擎Transwarp Slipstream正式發(fā)布9.0版本，新版本新增了無窗口關(guān)聯(lián)功能，在聚合計算能力上進行了深度優(yōu)化，充分提升了實時報表分析能力。Slipstream9.0借助引擎新特性，打破了窗口的局限性，進一步簡化了大屏展示、實時報表等業(yè)務的開發(fā)，全面保證了數(shù)據(jù)的時效性和正確性，做到和實時同步任務幾乎相同時延，產(chǎn)品的實時性提升了一個新臺階。本文將重點介紹全新的Slipstream9.0及其可視化開發(fā)監(jiān)控工具Slipboard帶來的全新功能以及在性能上帶來的提升。

產(chǎn)品優(yōu)勢

隨著流計算的不斷發(fā)展，客戶可以使用流計算引擎開發(fā)出越來越復雜的實時應用來實現(xiàn)對數(shù)據(jù)價值的挖掘。Slipstream是企業(yè)級流計算引擎，可以全方位支持用戶在不同業(yè)務場景下的應用。例如在實時數(shù)倉方面，Slipstream可以很好地應對上百任務、近萬Task并發(fā)的數(shù)據(jù)同步，并做到自動容災、實時告警、數(shù)據(jù)不丟不重，這些核心特性在某港務公司和制藥公司得到了很好的落地。相對于采用編程方式開發(fā)流應用，Slipstream主要核心優(yōu)勢包括：

SQL兼容性極高

Slipstream通過SQL的方式為用戶提供開發(fā)接口，完整支持NSI SQL 2003、2016標準，提供豐富的算子、函數(shù)，滿足大多數(shù)流處理場景。相比以往流處理平臺的高技術(shù)門檻，用戶使用Slipstream無需編碼，省去項目構(gòu)建發(fā)布打包等流程，僅通過SQL即可輕松上手開發(fā)部署應用，大幅度降低用戶開發(fā)以及學習成本。并且，Slipstream支持豐富的存儲類型，對星環(huán)各類數(shù)據(jù)庫產(chǎn)品以及其他第三方產(chǎn)品提供良好支持，全方位滿足用戶在各類業(yè)務場景下的使用需求。通過配合Slipboard可視化流應用開發(fā)及管理工具，也可以在界面生成流應用，并實時監(jiān)控任務狀態(tài)，配置告警規(guī)則等。此外，采用編程方式可能對性能的影響不可控，無法將引擎性能發(fā)揮到極致。Slipstream就數(shù)據(jù)處理和訪問進行了諸多優(yōu)化，例如使用SQL可以無縫對接引擎內(nèi)部。

高可用支持

Slipstream支持服務高可用及任務高可用。支持端到端Exactly-Once，任務自動故障恢復，多種狀態(tài)存儲和Checkpoint存儲選擇，滿足各種高可用場景需求。在服務發(fā)生故障時，將業(yè)務的影響程度降到最低，高效提升故障恢復速度。隨著流計算的不斷發(fā)展，用戶可以使用Slipstream開發(fā)出越來越復雜的實時應用來實現(xiàn)對數(shù)據(jù)的價值挖掘，例如金融領(lǐng)域的反洗錢反欺詐、交通領(lǐng)域的人車路管控、道路交通運行態(tài)勢預警研判等。

新版本優(yōu)化與新增功能

Slipstream9.0在性能和功能上都實現(xiàn)了全面增強，接下來將為您介紹此系列版本帶來的全新變化。

全新功能加持

新增規(guī)則引擎V3，助力用戶靈活配置業(yè)務規(guī)則，提高開發(fā)效率

規(guī)則引擎是處理復雜規(guī)則集合的引擎。通過模擬業(yè)務決策過程，根據(jù)預設規(guī)則庫中預定義的語義模塊處理事件并觸發(fā)相應操作得到最終的執(zhí)行結(jié)果。規(guī)則引擎的核心作用在于將復雜、易變的規(guī)則與應用系統(tǒng)的執(zhí)行邏輯分離，由靈活可變的規(guī)則來描述業(yè)務需求。其大大降低了系統(tǒng)的維護成本，使企業(yè)的決策能夠更加快速的反應到應用系統(tǒng)中。規(guī)則引擎通常由三部分組成，即規(guī)則庫、事實收集和推理引擎。規(guī)則是由條件和結(jié)論組成的推理語句，可以進行推演或歸納。當事實滿足條件時，相應的結(jié)論被激活。此類引擎廣泛應用于銀行信貸、交易風控、反洗錢、業(yè)務發(fā)展等諸多領(lǐng)域。Slipstream在9.0新增了規(guī)則引擎V3，其充分兼容Drools語法，支持本地調(diào)試，提供異步接口，訪問數(shù)據(jù)庫的同時可以保證高吞吐。通過內(nèi)置規(guī)則引擎，可助力用戶靈活配置業(yè)務規(guī)則，分離應用開發(fā)者的技術(shù)決策和商業(yè)決策者的商業(yè)決策邏輯，有效提高復雜邏輯的代碼的可維護性，提高開發(fā)效率。

異步運行UDF，提升處理性能

Slipstream為用戶提供了許多的解決方案來處理復雜的業(yè)務場景，但是隨著用戶業(yè)務規(guī)模的增長，原生函數(shù)很難應對一些復雜情況。因此，Slipstream支持用戶使用UDF（User-Defined Functions自定義函數(shù)）。但是，一些用戶定義的函數(shù)在使用過程中必須等待資源，在等待時，計算線程極易被阻塞而影響性能。因此，Slipstream支持異步運行UDF，其使用多路復用線程模型，異步非阻塞的處理數(shù)據(jù)，從而提升UDF處理性能。

無窗口流流Join，避免窗口出現(xiàn)數(shù)據(jù)進度不一致等風險

Join是處理數(shù)據(jù)流的重要操作符之一，為了在無限的數(shù)據(jù)流上連續(xù)產(chǎn)生輸出，通常使用窗口來限制join處理的范圍。但是，在同一個窗口的兩個數(shù)據(jù)流之間進行join往往存在數(shù)據(jù)亂序或者延時的情況，導致兩個流的數(shù)據(jù)進度不一致，出現(xiàn)數(shù)據(jù)跨窗口的情況，那么數(shù)據(jù)就無法在同一個窗口內(nèi)join。并且，窗口無法支持時間跨度較大的延遲。因此，為了避免上述問題的產(chǎn)生，Slipstream9.0支持用戶無需創(chuàng)建窗口即可實現(xiàn)流流Join。

新增KeyByte存儲支持，業(yè)務邏輯涉及KeyByte時可以高效開發(fā)管理

Slipstream9.0新增KeyByte存儲支持，其引擎內(nèi)置支持輸出到KeyByte，并提供查詢功能。在過往版本中，用戶在進行數(shù)據(jù)查詢時，需要先查詢KeyByte，再去跟表進行聯(lián)合查詢。并且，當數(shù)據(jù)需要進行更新時，需要單獨寫程序。在引進KeyByte后，用戶可以直接拿KeyByte的數(shù)據(jù)來做計算，并且可以直接更新KeyByte數(shù)據(jù)，無需再單獨寫程序來跟KeyByte做交互，可以同步進行資源管理。

新增json字段類型，充分提升產(chǎn)品易用性

Slipstream9.0支持SQL 2016 標準中json的創(chuàng)建和訪問，新增json 字段、以及豐富的查詢和編輯json功能，為json提供更全的支持，整體簡化了json 對象的處理，極大程度地提升了Slipstream的易用性。

關(guān)鍵性能提升

引進無鎖隊列和多路復用技術(shù)，改善流控機制，提高吞吐

如果流任務中有聚合計算，就需要對數(shù)據(jù)進行Shuffle，使相同聚合key的數(shù)據(jù)匯聚到同一個節(jié)點計算。為了提升Shuffle性能，Slipstream引進了無鎖隊列，在并發(fā)量高的環(huán)境下有效避免了使用鎖帶來的性能損失，并避免了死鎖問題。另外，數(shù)據(jù)源消費環(huán)節(jié)也使用了無鎖隊列，支持異步拉取Event Store、RabbitMQ等數(shù)據(jù)，處理速度更快。流控與背壓是Shuffle的重要一環(huán)，當下游處理能力下降的時候，通過流控和背壓很好地控制住上游數(shù)據(jù)的拉取速率，減小集群的負載，保障了服務的穩(wěn)定。Slipstream在使用無鎖隊列的同時，改善流控機制，采用多路復用技術(shù)，非阻塞傳遞數(shù)據(jù)與消息，任務之間共享TCP連接，充分利用資源并控制內(nèi)存使用，使流上Shuffle性能步入一個新臺階。

狀態(tài)與高可用優(yōu)化，提升故障恢復效率

分布式流處理系統(tǒng)被用來處理不斷擴展的實時數(shù)據(jù)，它能夠組織共享的分布式計算資源并實時處理多個數(shù)據(jù)流。但是，一旦發(fā)生系統(tǒng)故障，單個節(jié)點的故障會中斷甚至停止整個流處理進程，導致數(shù)據(jù)集不完整以及結(jié)果不準確，最終危及對數(shù)據(jù)較為敏感的應用程序（例如，醫(yī)療監(jiān)控、財務分析和警報系統(tǒng)）。因此，流計算系統(tǒng)的容錯機制十分重要。容錯機制的核心是checkpoint(檢查點)。Checkpoint是一個全局的程序快照，通過定期執(zhí)行checkpoint來對狀態(tài)變量的內(nèi)容進行快照并進行持久化存儲。當發(fā)生故障時，可以使用最新的checkpoint進行重啟。然而，隨著業(yè)務量與數(shù)據(jù)規(guī)模的增長，創(chuàng)建checkpoint的時間會十分耗時并且消耗大量資源。Slipstream基于屏障機制實現(xiàn)了輕量級的異步checkpoint技術(shù)，通過定期觸發(fā)任務檢查點，將對應時刻的任務狀態(tài)持久化到分布式存儲上來保證系統(tǒng)崩潰下計算的一致性，保證了系統(tǒng)高可用和高效率。并且，為了避免資源的浪費并降低故障恢復的時長，Slipstream引入RocksDB作為狀態(tài)存儲，支持增量checkpoint，使用RocksDB內(nèi)置的備份機制來合并檢查點數(shù)據(jù)。這樣，checkpoint的數(shù)據(jù)會自動合并老的檢查點數(shù)據(jù)并自動清理，從而保障故障恢復的效率。此外，Slipstream9.0可將checkpoint的數(shù)據(jù)存于Event Store中，進一步避免由于讀寫頻繁所導致的性能影響。

對數(shù)據(jù)處理和拷貝進行優(yōu)化，充分提升mapjoin性能

MapJoin簡單來說就是在Map階段將小表讀入內(nèi)存，順序掃描大表完成Join。在CPU使用率比較高的時候mapJoin的性能很容易受到影響。在運行時基本類型的自動裝箱一定程度上降低了性能并消耗額外的內(nèi)存，codegen減少了數(shù)據(jù)轉(zhuǎn)換的周期消耗，避免了資源的浪費，整體性能有所提高。因此，Slipstream通過codegen技術(shù)充分提升了mapjoin性能，有效避免了性能退化。

優(yōu)化Source Event Store Offset重置策略，方便進行數(shù)據(jù)回溯，提升整體易用性

當?shù)谝淮螁恿魅蝿盏臅r候，會從Event Store最新的Offset開始讀取，但是有時候需要消費任務啟動之前的數(shù)據(jù)。Slipstream優(yōu)化了靈活的消費Event Store Offset策略，支持用戶按Offset ，按時間來重置，更加方便靈活，可以有效防止數(shù)據(jù)丟失。

優(yōu)化可視化開發(fā)監(jiān)控工具Slipboard，全方位提升監(jiān)控、運維、告警功能

傳統(tǒng)的監(jiān)控系統(tǒng)展現(xiàn)能力比較弱，Slipstream結(jié)合多年來實際生產(chǎn)部署的管理運維經(jīng)驗，深入分析實時處理監(jiān)控的痛點，開發(fā)了一套完整的指標收集框架，并通過Slipboard 進行配置管理和監(jiān)控。例如任務監(jiān)控到故障數(shù)據(jù)后進行預警和告警，對集群的整體運行狀況進行監(jiān)控，提供任務處理的延遲、吞吐、實時數(shù)據(jù)量、使用資源等豐富指標。除了告警、輔助用戶進行頁面運維以外，Slipboard還提供了一套圖形化的任務設計接口，降低了對應用開發(fā)人員的技術(shù)門檻要求，降低了開發(fā)人員的學習成本，進一步提高了應用開發(fā)的效率。

總結(jié)

實時分析在應用場景中至關(guān)重要，通過對實時數(shù)據(jù)進行實時處理，用戶可以快速制定出可行的業(yè)務決策，防止數(shù)據(jù)價值的流失。星環(huán)Slipstream實時流計算引擎已為上千家行業(yè)用戶提供實時的數(shù)據(jù)采集、存儲、查詢、處理等服務。用戶通過使用Slipstream可以快速開發(fā)出一系列應用，充分應用于欺詐檢測、實時風控、實時推薦、設備故障檢測、預測性維護等應用場景。例如，基于星環(huán)實時流計算引擎Slipstream構(gòu)建的實時郵政監(jiān)管平臺每天都會有上億的異構(gòu)數(shù)據(jù)寫入，在確保數(shù)據(jù)高并發(fā)寫入的同時需要保障數(shù)據(jù)不丟不重，入庫即可進行查詢和分析。通過Slipstream，平臺實現(xiàn)了不同結(jié)構(gòu)數(shù)據(jù)的高并發(fā)寫入，寫入性能達到了數(shù)百萬記錄/秒，每天接入70億業(yè)務數(shù)據(jù)，累計接入了PB級海量數(shù)據(jù)，具備數(shù)據(jù)采集、存儲、處理、加工等一系列重要功能，幫助實現(xiàn)了離線業(yè)務、在線業(yè)務的即席秒級查詢分析、秒級上億數(shù)據(jù)的交互式復雜查詢、分析、探索等應用需求。實時數(shù)據(jù)處理可以幫助多個應用領(lǐng)域，例如股票交易、新產(chǎn)品監(jiān)控、欺詐檢測和監(jiān)管合規(guī)監(jiān)控，通過實時警報和實時分析支持趨勢感知和決策制定。并且，實時任務的故障更可能給企業(yè)造成經(jīng)濟損失，嚴重的甚至會導致生產(chǎn)事故，因此，實時處理的監(jiān)控也尤為重要。Slipstream通過配合Slipboard可視化流應用開發(fā)及管理工具，可以在界面生成流應用，并實時監(jiān)控任務狀態(tài)，配置告警規(guī)則，實現(xiàn)系統(tǒng)與應用級實時監(jiān)控，高效保障系統(tǒng)的穩(wěn)定運行。此次，Slipstream9.0在產(chǎn)品易用性、性能、開發(fā)效率、存儲成本等方面實現(xiàn)了全面升級。未來，Slipstream將持續(xù)對更多核心優(yōu)勢進行迭代與升級，幫助用戶挖掘?qū)崟r數(shù)據(jù)價值。