4月20日,火山引擎技術(shù)開放日在北京舉辦,字節(jié)跳動(dòng)副總裁楊震原分享了他對(duì)于A/B測(cè)試的理解。同時(shí),關(guān)于字節(jié)跳動(dòng)早期如何針對(duì)今日頭條、抖音等做產(chǎn)品體驗(yàn)優(yōu)化的故事也被首次曝光。

A/B測(cè)試,簡(jiǎn)而言之就是做一件事情同時(shí)采用A計(jì)劃、B計(jì)劃,然后再跟蹤用戶使用情況,最終用作預(yù)測(cè)驗(yàn)證和決策支撐。最早有記載的A/B測(cè)試出現(xiàn)在1747年:詹姆斯·林德治療壞血病的臨床實(shí)驗(yàn)。他把患有壞血病的水手分成6組,每組2個(gè)人,吃不同的食物。實(shí)驗(yàn)結(jié)果是,檸檬/橘子、蘋果汁對(duì)治療壞血病有用。

這一工具在字節(jié)跳動(dòng)的發(fā)展過程中也起到重要的作用。楊震原稱,A/B測(cè)試是字節(jié)跳動(dòng)一項(xiàng)非常基礎(chǔ)的工具,從公司成立之初就在使用,支撐了抖音、今日頭條等產(chǎn)品的增長(zhǎng)迭代。目前,字節(jié)跳動(dòng)A/B測(cè)試每日新增1500+實(shí)驗(yàn),服務(wù)于400多項(xiàng)大大小小的業(yè)務(wù),累計(jì)做了70多萬次實(shí)驗(yàn)。這項(xiàng)工具已經(jīng)實(shí)現(xiàn)產(chǎn)品化,通過火山引擎向企業(yè)客戶開放。

實(shí)際上,已被廣泛應(yīng)用于字節(jié)跳動(dòng)產(chǎn)品優(yōu)化的方方面面,包括產(chǎn)品命名、交互設(shè)計(jì)、推薦算法等。今日頭條的內(nèi)容創(chuàng)作者,一定都體驗(yàn)過文章的“雙標(biāo)題”功能。為了更好的把內(nèi)容推薦給讀者,一個(gè)文章可以起兩個(gè)標(biāo)題,從而看哪一類標(biāo)題讀者更喜歡。有觀點(diǎn)認(rèn)為,這也是一種典型的A/B測(cè)試。

在抖音上,A/B測(cè)試也被運(yùn)用得爐火純青。楊震原介紹,抖音的產(chǎn)品名字就是綜合了A/B測(cè)試和人為判斷的結(jié)果。當(dāng)初,字節(jié)做短視頻產(chǎn)品時(shí),有很多候選名字、有不同的產(chǎn)品demo,然后將它們放在應(yīng)用市場(chǎng)商店做A/B測(cè)試,以測(cè)出用戶對(duì)不同名字的關(guān)心程度、吸引力程度、下載轉(zhuǎn)化率等。最終,抖音在測(cè)試結(jié)果中排名第二。但因?yàn)椤岸兑簟边@個(gè)名字更符合產(chǎn)品的認(rèn)知、形態(tài),于是便選擇“抖音”作為產(chǎn)品名字。

開放日上,火山引擎還推出了一項(xiàng)火種計(jì)劃,以幫助中小企業(yè)推進(jìn)增長(zhǎng)。首批納入計(jì)劃的產(chǎn)品包括:火山引擎的增長(zhǎng)分析、A/B測(cè)試、性能監(jiān)控等等,同時(shí)融入了字節(jié)跳動(dòng)的各種方法論。借助這一計(jì)劃,中小企業(yè)也將能享受到字節(jié)跳動(dòng)的“技術(shù)紅利”。