Forrester調查顯示：企業使用A/B測試的ROI達126%

4月26日，《火山引擎A/B測試總體經濟影響白皮書》正式發布。這份白皮書由市場研究公司Forrester調研撰寫，揭示了A/B測試對于企業營收增長、運營成本、生產力優化等方面的重要影響。基于對多家企業調研，Forrester發現企業營收增長與其洞察力高度相關，領先企業的營收增長速度可以達到落后者的5倍，A/B測試正是企業提升洞察力最有效的工具之一。

白皮書中，Forrester調研了多家使用火山引擎A/B測試的企業，發現這些企業的廣告營收和會員運營收益均有明顯提升。綜合財務分析來看，企業使用A/B測試的ROI（投資回報率）達到126%。

《火山引擎A/B測試總體經濟影響白皮書》：具有較高成熟度的洞察力驅動企業，營收增長是落后者的5倍

A/B測試成為企業降本增效利器

隨著人口紅利逐漸消退，各行各業面臨著不同程度的增長瓶頸，企業迫切需要由過去粗放式的運營模式，轉變到以客戶體驗至上的精細化運營模式。白皮書顯示：94%的企業決策者認為，客戶需求及偏好相關的數據洞察對于提升企業營收極為關鍵；81%的企業認為通過數據深入了解客戶的需求，并基于數據不斷改進和優化解決方案，提升了競爭優勢。

作為客戶洞察最有效的工具之一，A/B 測試正在被越來越多的企業所采納。A/B測試本質是對照實驗，其方法是對不同策略進行隨機對比，通過實驗數據來確定最優方案。為了客觀呈現A/B測試帶來的實際價值，Forrester使用總體經濟影響（TEI）模型，對采用火山引擎A/B測試產品的企業進行調研分析。

調研顯示，A/B測試能通過優化的方式實現廣告營收增長、會員運營收益提升、運營成本節省，以及提升數據分析效率，實現生產力優化。量化分析表明，受訪企業產品上線迭代效率提升20%，數據分析效率提升60%，三年廣告業務利潤凈增長224萬元，三年會員運營利潤凈增長115萬元。綜合財務分析來看，企業應用A/B測試的ROI達到126%。

“通過分流模型和持續的試驗，我們大幅度優化了開屏廣告，廣告營收取得了翻倍的增長，這是以往無法做到的”，一家受訪企業表示A/B測試的效果超出了預期。

白皮書指出，A/B測試帶來的還有非量化收益，包括降低產品新版本發布風險、提升客戶參與及活躍度、落地數據驅動的文化，以及提升企業自適應性，實現業務快速迭代和持續創新。

Forrester高級咨詢顧問谷豐認為，洞察力驅動成熟度與企業營收增長高度相關，具有較高成熟度的洞察力驅動企業，營收增長是落后者的5倍。

從A/B測試走向“敏捷數智引擎”

字節跳動被稱為一家“A/B測試”公司，有著“萬事不決問AB”的流行語，甚至連抖音的名字也是通過A/B測試測出來的。作為字節跳動旗下的企業級技術服務平臺，火山引擎也將A/B測試視為重要的技術工具。

火山引擎數據產品負責人郭東東表示，基于內部先進的底層算法、科學分流能力、智能統計引擎，火山引擎A/B測試已覆蓋推薦、廣告、搜索、UI、產品功能等業務場景，提供從實驗設計、實驗創建、指標計算和統計分析，到最終評估上線等貫穿整個實驗生命周期的服務。

郭東東指出，A/B測試是一個重要的生產力工具，但轉型為洞察驅動型組織還需要搭配數據驅動更多的能力。為此，火山引擎基于字節跳動數據驅動理念，為企業客戶提供了一套完整的數據中臺，實現從單品數智到全局數智。

圖：火山引擎數據產品全景圖

火山引擎數據中臺分為SaaS層和PaaS層。SaaS層主要是數據應用產品，核心是幫助業務使用數據、推動業務增長，包括A/B測試產品 DataTester、增長營銷平GMP、增長分析DataFinder、客戶數據平臺CDP、智能數據洞察ABI。PaaS層主要是數據中臺類產品，提效數據開發、沉淀數據資產，包括湖倉一體分析服務LAS、Stateless云原生開源大數據平臺E-MapReduce、極速OLAP引擎ByteHouse、大數據研發治理套件DataLeap。

郭東東介紹，與傳統建設數據驅動體系的理念不同，火山引擎數據中臺是從業務場景出發，根據企業實際應用驅動中臺能力建設，從上往下逐步落地數據驅動能力，為企業客戶構建敏捷的數智引擎。