對(duì)于廣大應(yīng)用開(kāi)發(fā)團(tuán)隊(duì)，尤其是游戲APP的開(kāi)發(fā)者們來(lái)說(shuō)，持續(xù)優(yōu)化應(yīng)用界面和設(shè)置的常用方式之一是開(kāi)展 A/B 測(cè)試。

什么是 A/B 測(cè)試

將兩個(gè)測(cè)試版本同時(shí)呈現(xiàn)給分組的用戶進(jìn)行實(shí)驗(yàn)，并保持各組用戶的組成和屬性相似，最終在測(cè)試完成后選出較好的選項(xiàng)實(shí)行操作，整個(gè)過(guò)程我們稱為 A/B 測(cè)試。

然而在進(jìn)行測(cè)試時(shí)，開(kāi)發(fā)者們一旦遇到新的問(wèn)題，不得不重新打包一個(gè)甚至多個(gè)版本來(lái)重復(fù)測(cè)試和比對(duì)數(shù)據(jù)，這一切都需要耗費(fèi)大量的人力精力。本期內(nèi)容由谷歌的變現(xiàn)合作伙伴 WebEye為大家介紹Firebase 的 A/B 測(cè)試流程和特點(diǎn)，學(xué)會(huì)之后能幫助大家成為 A/B 測(cè)試小能手，優(yōu)化應(yīng)用品質(zhì)，賺取更高收益。

Firebase A/B 測(cè)試 3個(gè)亮點(diǎn)

1、參數(shù)設(shè)置簡(jiǎn)單，容易上手

通過(guò)在 Remote Config 里更改幾個(gè)參數(shù)值就能自動(dòng)修改應(yīng)用設(shè)置，不用寫(xiě)代碼或重新打包數(shù)據(jù)。

2、平均分配流量，提升精度

以設(shè)置百分比的方式平均分配流量，達(dá)到讓全部或部分用戶參與實(shí)驗(yàn)的目標(biāo)，確保每一個(gè)變體在測(cè)試投放時(shí)都擁有相同的用戶屬性，變量試驗(yàn)靈活。

3、對(duì)比試驗(yàn)結(jié)果，快速?zèng)Q策

Firebase 自帶的 Analytics 工具可呈現(xiàn)實(shí)時(shí)可視化圖表，幫助開(kāi)發(fā)者們?cè)谟^察試驗(yàn)結(jié)果后迅速做出判斷。這個(gè)特點(diǎn)能有效減免分析人員每日篩數(shù)據(jù)做圖表的重復(fù)工作，之后只需通過(guò)查看可視化圖表就能及時(shí)了解測(cè)試情況。

看完三大特點(diǎn)之后，你是不是心動(dòng)得想立即試用 Firebase 的測(cè)試功能呢？歡迎了解并收藏以下的測(cè)試流程。我們以一款個(gè)性化主題頁(yè)面的應(yīng)用為例，為你分步驟解析。

1.測(cè)試目的

在設(shè)計(jì)應(yīng)用首頁(yè)時(shí)，研發(fā)團(tuán)隊(duì)一開(kāi)始并不確定是否需要在頂部設(shè)置滾動(dòng)輪播橫幅海報(bào)。為了更好地了解用戶的行為與喜好，團(tuán)隊(duì)針對(duì)“頂部滾動(dòng)輪播橫幅”這一元素進(jìn)行了 Firebase A/B 測(cè)試。

2.測(cè)試準(zhǔn)備工作

在為應(yīng)用開(kāi)發(fā)一個(gè)新的功能點(diǎn)時(shí)，開(kāi)發(fā)人員可以針對(duì)這項(xiàng)功能在 Firebase 的 Remote Config 中設(shè)置參數(shù)。此做法不僅可以為之后的 A/B 測(cè)試做準(zhǔn)備，而且可以在未來(lái)當(dāng)功能點(diǎn)發(fā)生故障時(shí)及時(shí)調(diào)整或關(guān)閉，盡可能降低因?yàn)?bug 帶來(lái)的損失。

案例中，研發(fā)團(tuán)隊(duì)首先在 Remote Config 界面設(shè)置了一個(gè)頂部滾動(dòng)橫幅海報(bào)空間的參數(shù)，并設(shè)置默認(rèn)值為“TRUE”，即為默認(rèn)打開(kāi)。完成開(kāi)關(guān)設(shè)置之后，我們?cè)诤罄m(xù)進(jìn)行 A/B 測(cè)試時(shí)可以直接通過(guò)關(guān)閉功能來(lái)完成變體設(shè)置，非常方便。

3.四項(xiàng)測(cè)試步驟

步驟一：創(chuàng)建實(shí)驗(yàn)并設(shè)置變量

創(chuàng)建試驗(yàn)名稱，選擇目標(biāo)用戶人群，選定參考指標(biāo)等。

步驟二：選擇目標(biāo)用戶范圍

在定位目標(biāo)用戶群時(shí)，你可以選擇讓所有的用戶都參與到測(cè)試中，即在目標(biāo)用戶的百分比填寫(xiě)100%；或者選擇把控風(fēng)險(xiǎn)，僅選擇讓一部分的用戶參與到試驗(yàn)過(guò)程中，比如在此次試驗(yàn)中僅選擇讓50%的用戶參與到測(cè)試中。

步驟三：設(shè)置最主要的參數(shù)指標(biāo)

在 Remote Config 界面中你需要設(shè)定一個(gè)最主要的指標(biāo)，用于以后確定試驗(yàn)中的領(lǐng)先變體，同時(shí)額外設(shè)置多個(gè)追蹤的其他指標(biāo)，以便更全面地了解試驗(yàn)數(shù)據(jù)。

例如在這個(gè)案例中，團(tuán)隊(duì)將用戶的一日留存作為最主要的參數(shù)指標(biāo)，并額外設(shè)置了三個(gè)衡量指標(biāo)：主題瀏覽量，主頁(yè)停留時(shí)長(zhǎng)和應(yīng)用使用時(shí)間。

步驟四：設(shè)置對(duì)照組與試驗(yàn)變體

在參數(shù)列表里選擇自己之前設(shè)置好的功能參數(shù)，通過(guò)更改一個(gè)參數(shù)值就能完成對(duì)照組和變體的設(shè)置。在一些針對(duì)應(yīng)用界面顏色，廣告時(shí)長(zhǎng)等參數(shù)的試驗(yàn)時(shí)，也可以同時(shí)設(shè)置多個(gè)變體，來(lái)選擇一個(gè)最優(yōu)的配置。

4.數(shù)據(jù)分析

根據(jù)預(yù)設(shè)好的觀測(cè)指標(biāo)，F(xiàn)irebase 的 A/B 測(cè)試連續(xù)數(shù)據(jù)追蹤與分析，自動(dòng)評(píng)估最優(yōu)試驗(yàn)結(jié)果。

5.測(cè)試結(jié)果

在本次的試驗(yàn)中，系統(tǒng)根據(jù)數(shù)據(jù)判定沒(méi)有頂部滾動(dòng)橫幅是更好的選擇。因此應(yīng)用團(tuán)隊(duì)在確定結(jié)果后，自動(dòng)將應(yīng)用全部調(diào)整為首頁(yè)沒(méi)有滾動(dòng)橫幅的版本。經(jīng)過(guò)這次測(cè)試與優(yōu)化，應(yīng)用次日留存提升了19%，整體收益提升23%。

閱讀完此次測(cè)試的整個(gè)過(guò)程，相信你已經(jīng)體會(huì)到 Firebase 的 A/B 測(cè)試有哪些優(yōu)勢(shì)。例如完全不需要技術(shù)開(kāi)發(fā)人員參與流程，運(yùn)營(yíng)人員就能輕松搞定。相信 Firebase 的 A/B 測(cè)試會(huì)成為你們的新幫手，挖掘出更廣闊的應(yīng)用的潛力與價(jià)值。