疫情讓線下的需求大量轉移到線上，催生出了遠程辦公、網絡授課、線上健身等新的生態現象。如何更好地為用戶服務，提升用戶體驗，成為了諸多平臺的一大課題。
今天的故事來自字節的一款 App，當它的發展進入成熟期后，通過A/B測試等精細化數據分析提升用戶體驗，實現DAU（日活躍用戶數）增長數十萬的故事。
在字節有一個專門保障用戶使用性能體驗的團隊，他們在日常的數據觀察中發現了一個現象：用戶所使用的設備性能好壞，會影響到他們在產品使用中的活躍度。同時，他們在研究中發現，這些基礎性能體驗的提升，會延長不同細分領域的用戶生命周期，最終提升短視頻產品的大盤DAU。
為了進一步精確歸因，這個團隊使用專門為A/B實驗打造的數據產品——DataTester，該產品是字節跳動內部應用多年的A/B實驗平臺，在2020年已通過火山引擎面向外部企業開放服務。他們通過 DataTester 查看已經獲得正向收益的A/B實驗，并對其中的每個性能指標和業務指標做線性分析，嘗試尋找會對業務指標造成影響的性能指標。
數據顯示，字節每日有3萬余個A/B實驗在同時運行，而每一次微小的產品改動，也都會經過A/B實驗所得出的數據驗證。可以說小到按鈕顏色和位置，大到推薦算法策略和規則，在字節都經歷過 DataTester 的A/B實驗效果驗證。
因此，該短視頻產品也在 DataTester 中積累了大量的實驗記錄。當性能體驗團隊將 DataTester 中的歷史實驗進行歸納整理后，他們發現有幾個性能指標和產品的業務指標具有高度的相關性——當用戶在刷短視頻的過程中，遭遇到較多流暢度、儲存占用、網絡速度等問題，會直接的降低用戶使用短視頻產品的活躍度，而這個問題在設備性能較低的用戶群體中更為明顯和集中。
定位到問題后，性能體驗團隊開始有針對性地開啟了產品策略的優化。他們集中優化了設備性能較低的用戶，在打開產品啟動速度和視頻加載流暢性方面——
●啟動速度：首刷視頻加載時間過長；
●流暢性：UI動畫和視頻加載卡頓。
他們設計了優化后的產品形態，核心是將頁面展示簡潔化，并再次通過DataTester投放A/B實驗，用以驗證效果。
配合產品頁面展示簡潔化，也同時減輕了一些特效、動效、快捷功能、附加組件等加載，綜合性大幅提升了該短視頻App的啟動速度和視頻播放的流暢度。
從DataTester的實驗結果上看，優化后的實驗組方案在性能指標上有了大幅提升，App啟動速度、播放流暢度明顯提升，播放卡頓指標大幅下降。而在業務指標的數據反饋中，用戶生命周期、用戶訪問時長等都有不同程度的正向收益。最終，本次的產品優化在DataTester中取得了提升整個短視頻App 數十萬日活的收益，超出預期。
從今日頭條開始，字節的每款產品，在迭代中都離不開A/B測試。也正是因為DataTester在字節全業務線的深度普及和應用，幫助業務在每一個微小決策的岔路口上，都做出了那個“更正確一點”的選擇。
火山引擎DataTester基于先進的底層算法，提供科學分流能力和智能的統計引擎，支持多種復雜的A/B實驗類型。在應用和分析場景上，DataTester 深度耦合推薦、廣告、搜索、UI、產品功能等多種業務場景需求，為業務增長、轉化、產品迭代，策略優化，運營提效等各個環節提供科學的決策依據，讓業務真正做到數據驅動。
目前，火山引擎DataTester 已經服務了美的、得到、凱叔講故事等在內的上百家標桿客戶，將成熟的“數據驅動增長”經驗賦能給各行業。
