“迭代”早已成為互聯(lián)網(wǎng)、金融、零售等很多行業(yè)產(chǎn)品開(kāi)發(fā)的基礎(chǔ)和準(zhǔn)則。然而在現(xiàn)實(shí)經(jīng)營(yíng)過(guò)程中，產(chǎn)品的迭代開(kāi)發(fā)卻不是那么簡(jiǎn)單。很多企業(yè)表示，在傳統(tǒng)架構(gòu)下，缺乏高效且精準(zhǔn)的工具，迭代往往成為堆砌人力的低效過(guò)程，經(jīng)常無(wú)法達(dá)到企業(yè)的預(yù)想目的。而一些新的工具，如A/B測(cè)試則給這些企業(yè)的產(chǎn)品迭代開(kāi)發(fā)帶來(lái)新的思路。

4月26日，由市場(chǎng)研究公司Forrester調(diào)研撰寫(xiě)的《火山引擎A/B測(cè)試總體經(jīng)濟(jì)影響白皮書(shū)》（以下簡(jiǎn)稱《白皮書(shū)》）正式發(fā)布，揭示了A/B測(cè)試對(duì)于企業(yè)營(yíng)收增長(zhǎng)、運(yùn)營(yíng)成本、生產(chǎn)力優(yōu)化等方面的重要影響。基于對(duì)多家企業(yè)調(diào)研，Forrester發(fā)現(xiàn)企業(yè)營(yíng)收增長(zhǎng)與其洞察力高度相關(guān)，A/B測(cè)試已成為企業(yè)提升洞察力最有效的工具之一。

據(jù)了解，A/B測(cè)試在谷歌、亞馬遜、Facebook等互聯(lián)網(wǎng)公司被大規(guī)模應(yīng)用。谷歌每月僅搜索廣告產(chǎn)品上就會(huì)做幾百、上千次實(shí)驗(yàn)，而亞馬遜在購(gòu)物流程的優(yōu)化上，小到一個(gè)按鈕的變化，大到一個(gè)流程的改變，全部應(yīng)用A/B測(cè)試作為核心優(yōu)化策略。在國(guó)內(nèi)，字節(jié)跳動(dòng)在2021年初每天同時(shí)進(jìn)行的A/B測(cè)試也達(dá)到上萬(wàn)場(chǎng)，單日新增實(shí)驗(yàn)數(shù)量超過(guò)1500個(gè)，覆蓋400多個(gè)大大小小的業(yè)務(wù)，而且這些數(shù)字還在不斷擴(kuò)大。

具體到“迭代開(kāi)發(fā)”問(wèn)題，《白皮書(shū)》發(fā)現(xiàn)，引入A/B測(cè)試產(chǎn)品，可以幫助企業(yè)有效提升產(chǎn)品迭代效率。其采集的受訪公司數(shù)據(jù)顯示，使用火山引擎A/B測(cè)試后，產(chǎn)品上線迭代效率普遍提升程度達(dá)到了20%。

《白皮書(shū)》指出，在使用火山引擎A/B 前，受訪企業(yè)的產(chǎn)品迭代開(kāi)發(fā)已經(jīng)成為一項(xiàng)繁瑣且需要大量人力的工作，以某受訪企業(yè)為例，產(chǎn)品迭代開(kāi)發(fā)需要包括開(kāi)發(fā)、測(cè)試、運(yùn)營(yíng)以及數(shù)據(jù)分析在內(nèi)的共計(jì) 7 名工程師，累計(jì)投入時(shí)間 840 小時(shí)，才能保證產(chǎn)品的發(fā)布及上線。而調(diào)查顯示，通過(guò)火山引擎 A/B 測(cè)試平臺(tái)的“灰度發(fā)布”功能，大大減輕了原有模式中需要測(cè)試、逐項(xiàng)發(fā)布、監(jiān)控以及回滾帶來(lái)的負(fù)擔(dān)及風(fēng)險(xiǎn)。

受訪企業(yè)還表示，除了開(kāi)發(fā)環(huán)節(jié)之外，產(chǎn)品的全部生命周期中，還需要包括產(chǎn)品經(jīng)理、數(shù)據(jù)分析師以及運(yùn)營(yíng)人員在內(nèi)的共計(jì) 5 名人員，負(fù)責(zé)前期需求論證以及運(yùn)營(yíng)優(yōu)化，每次新功能或新版本的規(guī)劃需要投入時(shí)間 400 小時(shí)。而通過(guò)使用火山引擎A/B 測(cè)試產(chǎn)品，使公司得以更好地洞察客戶，在正式產(chǎn)品上線前驗(yàn)證不同優(yōu)化措施的效果，確定最優(yōu)的方案。以上這兩項(xiàng)改善措施的應(yīng)用，使公司的產(chǎn)品迭代開(kāi)發(fā)效率大為提升，三年之中，已為企業(yè)節(jié)省超過(guò)127萬(wàn)元的成本。

《白皮書(shū)》提到，受訪的某互聯(lián)網(wǎng)公司CTO表示：“在我們過(guò)去的交互設(shè)計(jì)以及運(yùn)營(yíng)策略的優(yōu)化上，主要依靠經(jīng)驗(yàn)判斷，例如會(huì)員價(jià)格的調(diào)整，先推出上線，看效果不好再去改，反復(fù)試錯(cuò)，效率非常低。”

另一家受訪企業(yè)負(fù)責(zé)人表示，盡管公司采取了 Release Train 的開(kāi)發(fā)模式，但隨著產(chǎn)品以及APP 功能的不斷豐富，產(chǎn)品及功能上線決策以版本迭代的問(wèn)題還是不斷暴露出來(lái)，包括開(kāi)發(fā)主要依靠產(chǎn)品經(jīng)理個(gè)人的經(jīng)驗(yàn)及認(rèn)知，缺乏科學(xué)的決策方法。同時(shí)，對(duì)于開(kāi)發(fā)及測(cè)試人員，每次更新的版本都要經(jīng)過(guò)大量的開(kāi)發(fā)和測(cè)試環(huán)境的測(cè)試，再通過(guò)灰度發(fā)布進(jìn)行小規(guī)模的 UAT 測(cè)試，一旦出現(xiàn)問(wèn)題就要回滾。當(dāng)出現(xiàn)多個(gè)需要測(cè)試的功能或版本時(shí)，效率就非常堪憂。

通過(guò)火山引擎 A/B 測(cè)試的 A/B 測(cè)試上線方法，可以同步進(jìn)行多個(gè)版本的測(cè)試，改進(jìn)灰度上線方法。《白皮書(shū)》顯示，通過(guò)引入火山引擎A/B測(cè)試產(chǎn)品，受訪企業(yè)在開(kāi)發(fā)測(cè)試和運(yùn)營(yíng)人員方面，可以分別得到20%及30%的效率提升。所節(jié)省下來(lái)的時(shí)間，可以用來(lái)進(jìn)行其它工作，因此而帶來(lái)生產(chǎn)效率的提升，為企業(yè)帶來(lái)了更多收益，生產(chǎn)力轉(zhuǎn)化系數(shù)達(dá)到了60%。

除迭代開(kāi)發(fā)之外，火山引擎A/B測(cè)試產(chǎn)品的應(yīng)用，在數(shù)據(jù)分析，和其他如提升點(diǎn)擊通過(guò)率、客戶參與及活躍度，以及降低產(chǎn)品新版本發(fā)布風(fēng)險(xiǎn)等非量化收益方面，也都展現(xiàn)出了非常大的價(jià)值；同時(shí)，部署具有靈活性，且成本可控，對(duì)迫切希望全面改善運(yùn)營(yíng)效率的企業(yè)來(lái)說(shuō)，是不錯(cuò)的選擇。（作者：王振）