概述
1. 廣告樣式與場(chǎng)景
上圖是微博廣告目前商業(yè)場(chǎng)景流,“一屏四大流”。“一屏”指打開(kāi)微博的 Fashion,“四大流”指占據(jù)微博商業(yè)化的主體,包括關(guān)系信息流、熱門(mén)流、評(píng)論流和熱搜流。右圖為廣告投放的后臺(tái)。
2. 廣告參與方
如上圖,做計(jì)算廣告首先面臨這些概念,根據(jù)不同的廣告主的規(guī)模和對(duì)公司的重要程度分為 KA 類和中小類。KA 類往往是進(jìn)行廣量式的購(gòu)買。中小類,常規(guī)的客戶會(huì)進(jìn)行競(jìng)價(jià)。
常見(jiàn)的計(jì)費(fèi)方式有:CPE,CPM,CPD。
目前在互聯(lián)網(wǎng)市場(chǎng)在大規(guī)模推廣 OCPX,OCPX 作為一種需要很高的技術(shù)含量,也是一種很好的降低廣告主投放風(fēng)險(xiǎn)的售賣方式。
3. 計(jì)算廣告核心問(wèn)題
這是廣告涉及到的三方:平臺(tái)(站方)、用戶、廣告主,在計(jì)算廣告設(shè)計(jì)時(shí)的核心問(wèn)題是如何追求三方之間均衡的、整體的利益最大化。
4. 廣告投放流程
以上是一般的廣告的投放流程。這是從廣告主的視角、平臺(tái)的視角以及從用戶的視角來(lái)公共完成三方“相向而行”的活動(dòng):
廣告營(yíng)銷策劃的流程:創(chuàng)建推廣計(jì)劃 -> 選擇人群受眾定向 -> 設(shè)置廣告預(yù)算 -> 設(shè)定廣告創(chuàng)意 -> 啟動(dòng)廣告投放 -> 查看廣告效果 -> 下一步營(yíng)銷決策。
精準(zhǔn)廣告投放:針對(duì)廣告庫(kù)存請(qǐng)求,會(huì)對(duì)用戶進(jìn)行精準(zhǔn)用戶畫(huà)像刻畫(huà),然后做廣告的召回,對(duì)廣告進(jìn)行粗排和精排,挑選廣告,根據(jù)不同平臺(tái)進(jìn)行廣告創(chuàng)意渲染工作,最后展示給用戶。
用戶內(nèi)容消費(fèi),比較簡(jiǎn)單請(qǐng)看圖中流程。
微博廣告策略工程架構(gòu)體系演進(jìn)
1. 微博廣告工程架構(gòu)發(fā)展史
微博商業(yè)化進(jìn)程不斷的發(fā)展,支撐商業(yè)化的工程架構(gòu)會(huì)隨著具體的業(yè)務(wù)需求做改變。
剛開(kāi)始做的是非信息流的廣告,按照傳統(tǒng)的方式會(huì)試投一些 banner 在微博,目前 banner 在微博的移動(dòng)端已經(jīng)沒(méi)有了。從1.0版本簡(jiǎn)單彈窗式的廣告系統(tǒng),到2.0版本以粉絲通為代表的產(chǎn)品線陸續(xù)的孵化出來(lái),這時(shí)候微博開(kāi)始進(jìn)行信息流廣告的研發(fā)。微博是國(guó)內(nèi)信息流廣告的第一家,在探索中孵化出一系列的廣告產(chǎn)品矩陣,為了產(chǎn)品的快速上線,復(fù)制了大量的廣告系統(tǒng),為了改變這一狀況,隨著17年底超級(jí)粉絲通的上線,對(duì)廣告系統(tǒng)進(jìn)行了整體重構(gòu),從此微博廣告工程架構(gòu)進(jìn)入了4.0時(shí)代。
2. 投放系統(tǒng)架構(gòu)4.0
上圖是17年的工程架構(gòu)圖,是隨著微博廣告產(chǎn)品線的探索演化出的工程架構(gòu)4.0版本,當(dāng)時(shí)處于流量的藍(lán)海階段,所以通過(guò)配合廣告客戶和廣告預(yù)算的不斷增加,不斷提升廣告系統(tǒng)的穩(wěn)定性、高可用性、高并發(fā)來(lái)不斷的實(shí)現(xiàn)廣告收入的增長(zhǎng)。因此我們也對(duì)系統(tǒng)進(jìn)行了分層化的梳理,圖中藍(lán)色的區(qū)域是線上廣告投放系統(tǒng)最核心的鏈路。通過(guò)廣告請(qǐng)求,流量統(tǒng)一接入,接入包括微博多個(gè)產(chǎn)品矩陣,廣告的請(qǐng)求會(huì)對(duì)多個(gè)產(chǎn)品矩陣進(jìn)行請(qǐng)求分發(fā),通過(guò)統(tǒng)一流量?jī)r(jià)格評(píng)估,對(duì)用戶的請(qǐng)求進(jìn)行響應(yīng)。整體上這樣一個(gè)引擎結(jié)構(gòu)是為了不斷的滿足產(chǎn)品提出的面對(duì)客戶的需求來(lái)進(jìn)行的架構(gòu)設(shè)定。
其基本流程是廣告請(qǐng)求,廣告庫(kù)存接入,到總體流量的分發(fā),請(qǐng)求用戶的畫(huà)像,經(jīng)過(guò)競(jìng)價(jià)服務(wù),會(huì)進(jìn)行廣告觸發(fā),會(huì)請(qǐng)求在線索引服務(wù),形成比較完善的行為定向體系,包括:
1. 用戶的行為定向。在微博上的行為定向,比如,對(duì)話題的互動(dòng),熱門(mén)微博的互動(dòng),熱搜人群的互動(dòng)等。
2. 社交關(guān)系定向。比如關(guān)注的大 V 信息,如果在某個(gè)大 V 信息下用戶的群體能理解為自然形成的社會(huì)群體,那么這個(gè)大 V 信息下面的粉絲群是可以進(jìn)行選擇投放的。
3. 精準(zhǔn)人群定向。是由平臺(tái)方或第三方的數(shù)據(jù)加工,或廣告主根據(jù)一次投放效果進(jìn)行的召回,或已有的客戶信息形成的用戶粒度聚合后的數(shù)據(jù)包,這個(gè)就是精準(zhǔn)用戶的集合。
4. 用戶屬性定向。包括用戶畫(huà)像,年齡、地域等。
以上是整體的在線投放流程,但是投放流程僅僅有以上這些是不夠的,還包括個(gè)性化庫(kù)存策略,廣告的負(fù)反饋的策略,智能頻次控制策略等,以及配套的 A/B Test 系統(tǒng),這樣就形成了廣告投放的在線服務(wù)群。
由于流量來(lái)自于微博站方,所以微博廣告請(qǐng)求是無(wú)需流量反作弊的。存在的反作弊主要是針對(duì)互動(dòng)回傳,也就是說(shuō)廣告投后的后鏈路數(shù)據(jù)的回傳會(huì)有大規(guī)模的反作弊策略,當(dāng)然也包括社交互動(dòng)。然后會(huì)有一個(gè)實(shí)時(shí)的結(jié)算中心—結(jié)算系統(tǒng),提供給廣告主需要的報(bào)表,以及與廣告主密切相關(guān)的賬戶系統(tǒng),總體上形成了投后鏈路在線服務(wù)群。
之下是屬于近線的數(shù)據(jù)訪問(wèn),按照數(shù)據(jù)分類:用戶基礎(chǔ)數(shù)據(jù)、廣告定向數(shù)據(jù)、廣告實(shí)時(shí)流數(shù)據(jù)、算法模型訓(xùn)練數(shù)據(jù)、廣告創(chuàng)意庫(kù)數(shù)據(jù)來(lái)制定線上這種實(shí)時(shí)訪問(wèn)的需求。
最下面屬于線下的數(shù)據(jù)倉(cāng)庫(kù)。線上投放完的數(shù)據(jù)會(huì)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)落地。
這就是廣告數(shù)據(jù)總線,實(shí)現(xiàn)數(shù)據(jù)流的方式一般通過(guò) kafka 機(jī)制等實(shí)現(xiàn),然后匯聚到數(shù)據(jù)倉(cāng)庫(kù)里,對(duì)數(shù)據(jù)進(jìn)行分門(mén)別類。
圖中最左邊廣告的監(jiān)控系統(tǒng),會(huì)從系統(tǒng)的各個(gè)層面對(duì)系統(tǒng)進(jìn)行業(yè)務(wù)運(yùn)行狀況的監(jiān)控以及服務(wù)穩(wěn)定性的監(jiān)控、可用性的監(jiān)控。這些就是業(yè)務(wù)層面完整的一個(gè)工具鏈。原來(lái)多個(gè)產(chǎn)品線就逐漸聚合到這樣的一個(gè)系統(tǒng)當(dāng)中。
4.0時(shí)代的架構(gòu)在整體上是為了“粗放式增長(zhǎng)”而設(shè)定的工程架構(gòu)體系。這種粗放增長(zhǎng)的客觀現(xiàn)實(shí)是,廣告預(yù)算供應(yīng)的持續(xù)提升和微博不斷供給的流量變現(xiàn)規(guī)模,以及不斷增加廣告主的數(shù)量、預(yù)算和規(guī)模,來(lái)實(shí)現(xiàn)廣告數(shù)的增長(zhǎng)。這時(shí)對(duì)系統(tǒng)最大的考驗(yàn)是系統(tǒng)的高可用性,以及做業(yè)務(wù)需求時(shí),對(duì)研發(fā)效率的保證,這樣的架構(gòu)就是“粗放增長(zhǎng)之下的產(chǎn)物”。
這個(gè)架構(gòu)體系是存在一些問(wèn)題的(即紅框中的):相對(duì)來(lái)說(shuō)對(duì)策略模型是相當(dāng)?shù)?,也就是從功能架?gòu)層面對(duì)算法模型的迭代是比較簡(jiǎn)單的。比如 A/B Test 使用的是非常原始的 A/B Test,在這種在人口紅利的情況下能夠快速支撐廣告業(yè)務(wù)的增長(zhǎng),但是隨著人口紅利的消失,已經(jīng)不能很好的支撐廣告業(yè)務(wù)的增長(zhǎng),這時(shí)系統(tǒng)對(duì)策略模型的支持顯得異常重要。
3. 系統(tǒng)如何支持廣告增長(zhǎng)的轉(zhuǎn)型
如何支撐廣告增長(zhǎng)的轉(zhuǎn)型,會(huì)通過(guò)粗放型增長(zhǎng)(擴(kuò)流、擴(kuò)廣告主、擴(kuò)預(yù)算)轉(zhuǎn)型到精細(xì)化的增長(zhǎng),不斷的提升投放效果來(lái)促進(jìn)收入的增長(zhǎng)。這時(shí)對(duì)應(yīng)的系統(tǒng)需要進(jìn)行轉(zhuǎn)型,在系統(tǒng)不斷完善的基礎(chǔ)上,實(shí)現(xiàn)策略模型的良好驅(qū)動(dòng)。在這種情況下隨著算法不斷引入新的深度學(xué)習(xí)模型,整體的工程架構(gòu)也不斷的深耕細(xì)作,從原來(lái)的業(yè)務(wù)劃分方式(Target、Filter、Rank)轉(zhuǎn)型成面向算法策略(召回、模型、機(jī)制、排序)的劃分方式。
4. 流量漏斗模型
廣告系統(tǒng)常用的模型:流量漏斗模型。對(duì)其重新進(jìn)行思考和定義:開(kāi)始是對(duì)廣告進(jìn)行召回,完成基于精準(zhǔn)的最大概率展現(xiàn),到相關(guān)性的挑選,再到以模型為核心的競(jìng)價(jià)排序機(jī)制。
本文不會(huì)從算法角度去講解如何召回和相關(guān)性的機(jī)制等,主要是介紹工程是如何支持算法模型迭代的。
5. 面向策略的下一代投放架構(gòu)
在架構(gòu)系統(tǒng)4.0中的基礎(chǔ)上對(duì)在線投放引擎進(jìn)行業(yè)務(wù)分級(jí),以滿足新的流量漏斗模型。有以下關(guān)鍵點(diǎn):
① 觸發(fā)、模型、策略機(jī)制向獨(dú)立縱深發(fā)展
系統(tǒng)在支持觸發(fā)、模型、策略迭代上能夠?qū)崿F(xiàn)很好的各自的獨(dú)立縱深發(fā)展,能夠做到各自的快速迭代,互不影響。
② 引入精益驅(qū)動(dòng)思想,系統(tǒng)雙核驅(qū)動(dòng),釋放算法迭代效率
在做整體的精細(xì)化轉(zhuǎn)型的時(shí)候,系統(tǒng)需要不斷的進(jìn)行嘗試,而嘗試要有一個(gè)很好的嘗試平臺(tái),所以引入了精益驅(qū)動(dòng)的思想。在線精益平臺(tái)包括:法拉第實(shí)驗(yàn)平臺(tái)和法拉第精益洞察,這是一個(gè)比較好的促進(jìn)業(yè)務(wù)模型迭代的工具鏈,更加注重?cái)?shù)據(jù)的實(shí)時(shí)性和數(shù)據(jù)的密度。
系統(tǒng)架構(gòu)總體上分為:在線精益工具平臺(tái)、在線投放系統(tǒng)、近線數(shù)據(jù)訪問(wèn)、數(shù)據(jù)模型加工(曝光機(jī)器學(xué)習(xí)平臺(tái)和在線實(shí)時(shí)流的機(jī)制)和離線數(shù)據(jù)平臺(tái)
③ 特征數(shù)據(jù)的實(shí)時(shí)性和密度,模型獨(dú)立化發(fā)展
重點(diǎn)說(shuō)下在線投放服務(wù),在服務(wù)中,會(huì)有流量接入,會(huì)有流量的觸發(fā),會(huì)有觸發(fā)機(jī)制,包括多路觸發(fā),通過(guò)多路觸發(fā)體制后,會(huì)有機(jī)制策略,包括模型預(yù)估服務(wù),模型預(yù)估服務(wù)是聚合服務(wù),會(huì)進(jìn)行粗排、對(duì)數(shù)據(jù)進(jìn)行裁剪,會(huì)在大規(guī)模分布式預(yù)估服務(wù)中完成,Ranker 也會(huì)基于預(yù)估進(jìn)行精排。
特別說(shuō)明一下,為什么進(jìn)行粗排和精排,粗排我的理解是為了精排的性能考慮的,因?yàn)榫艜?huì)涉及到大規(guī)模的精細(xì)計(jì)算,性能有可能會(huì)扛不住,所以需要粗排,而且在保證效果的情況下,為了性能的保證會(huì)有多級(jí)粗排。
最上面是法拉第實(shí)驗(yàn)平臺(tái)和法拉第精益洞察。整體上會(huì)形成雙核引擎:一個(gè)良好的工程架構(gòu)體系和精益驅(qū)動(dòng)的工具平臺(tái)。
6. 如何支持廣告物料的精準(zhǔn)召回
從微博廣告的召回機(jī)制來(lái)看會(huì)有用戶標(biāo)簽觸發(fā)、社交傳播觸發(fā)、精準(zhǔn)人群觸發(fā)、內(nèi)容觸發(fā)、DNN 向量式觸發(fā),經(jīng)過(guò)5路觸發(fā),會(huì)進(jìn)行 MIXER 廣告召回級(jí)的匯總,匯總后會(huì)有粗排策略、精排策略。
這里用到的信息,包括流量側(cè)和廣告?zhèn)取?/p>
流量策:
用戶畫(huà)像、請(qǐng)求上下文、歷史互動(dòng)行為
廣告?zhèn)龋?/strong>
廣告主信息、計(jì)劃信息、創(chuàng)意信息
7. DNN 向量觸發(fā)模型
這里介紹下深度向量觸發(fā)模型,用到的是雙塔模型,包括用戶側(cè)和廣告?zhèn)?。用戶?cè)根據(jù)用戶信息進(jìn)行訓(xùn)練生成用戶側(cè)的向量,用到了三層的神經(jīng)網(wǎng)絡(luò),廣告?zhèn)纫彩且粯樱w來(lái)說(shuō)訓(xùn)練都是采用離線的方式完成的,接下來(lái)會(huì)做實(shí)時(shí)的向量預(yù)估。進(jìn)而在雙塔匯合點(diǎn)進(jìn)行相關(guān)性的判定,使用了簡(jiǎn)單的 cos 和 sigmoid 進(jìn)行相關(guān)性的判定。
8. 觸發(fā)工程架構(gòu)
觸發(fā)工程體系在如何更好的支持觸發(fā)角度來(lái)說(shuō),研發(fā)了對(duì)應(yīng)的服務(wù)體系。請(qǐng)求在請(qǐng)求召回時(shí)會(huì)觸發(fā) Agent 進(jìn)行五路召回,包括雙塔的召回、內(nèi)容定向的召回、用戶畫(huà)像的召回、精準(zhǔn)人群的召回、微博社交關(guān)系的召回,召回之后進(jìn)行 Mixer,會(huì)結(jié)合質(zhì)量預(yù)估服務(wù)進(jìn)行裁剪。然后,線上會(huì)有實(shí)時(shí)的廣告計(jì)劃庫(kù)數(shù)據(jù)和離線數(shù)據(jù)會(huì)對(duì)線上的五路觸發(fā)分別根據(jù)需求進(jìn)行訪問(wèn),這樣會(huì)形成一個(gè)整體的廣告觸發(fā)工程架構(gòu)。
精益渠道思想工具:“兩翼計(jì)劃”
隨著超級(jí)粉絲通在17年上線,考慮到微博廣告從粗放式增長(zhǎng)到精細(xì)化增長(zhǎng)的轉(zhuǎn)型,需要有一個(gè)比較好的實(shí)驗(yàn)平臺(tái)和一種線上運(yùn)行洞察的方式和思想,這樣就構(gòu)成了精益驅(qū)動(dòng)思想的來(lái)源。包括兩部分:一是進(jìn)行線上策略的實(shí)驗(yàn)和調(diào)控,一個(gè)是用于線上策略運(yùn)行的精益洞察,與在線投放系統(tǒng)一起,構(gòu)成一體兩翼策略工程架構(gòu)體系。
1. 法拉第實(shí)驗(yàn)平臺(tái)
① 法拉第分層實(shí)驗(yàn)?zāi)P?/strong>
法拉第實(shí)驗(yàn)采用正交分層模型,這種模型在互聯(lián)網(wǎng)行業(yè)一般都會(huì)使用,包括百度的愛(ài)迪生、阿里的特斯拉等。微博法拉第模型思想來(lái)自于 Google 流量正交分解模型的經(jīng)典論文,為多層的獨(dú)立實(shí)驗(yàn)提供了理論基礎(chǔ),當(dāng)然實(shí)驗(yàn)也結(jié)合了微博廣告的實(shí)際情況,包括剛開(kāi)始解決從無(wú)到有的問(wèn)題,對(duì)論文中的模型進(jìn)行了簡(jiǎn)化。最開(kāi)始是沒(méi)有域的概念,整體上每一層都會(huì)使用 hash 函數(shù)。
② 實(shí)驗(yàn)分桶
雖然每個(gè)實(shí)驗(yàn)層共享 hash 函數(shù),但是 hash 函數(shù)參數(shù)不同,參數(shù)包括流量標(biāo)識(shí)和實(shí)驗(yàn) id 標(biāo)識(shí),呈現(xiàn)出的是不同層的流量分桶劃分是正交的。另外,也引入 Google 論文中提到的分配條件,場(chǎng)景應(yīng)用很經(jīng)典,例如做一個(gè)實(shí)驗(yàn),會(huì)考慮流量的重用或者實(shí)驗(yàn)的一些特征,包括實(shí)驗(yàn)的地域、性別等,這樣的話,使用圈定或限定下的流量而不是使用全部的流量;如果使用全部流量的話會(huì)造成實(shí)驗(yàn)效果不顯著,實(shí)驗(yàn)效果被稀釋,容易引起不置信。這樣可以使流量重復(fù)復(fù)用,并且能很好的觀測(cè)到策略所產(chǎn)生的實(shí)驗(yàn)效果。這就是流量分桶類型和進(jìn)行流量圈定的分配條件。
③ 法拉第實(shí)驗(yàn)平臺(tái)
這個(gè)是法拉第實(shí)驗(yàn)平臺(tái)的整體架構(gòu)圖。采用全程自動(dòng)化的機(jī)制。通過(guò)法拉第的 Web 入口,進(jìn)行實(shí)驗(yàn)信息的記錄,在線上流量入口處進(jìn)行實(shí)驗(yàn)的下發(fā)和解析,根據(jù)實(shí)驗(yàn)的數(shù)據(jù)信息,進(jìn)行線上策略的調(diào)控,會(huì)對(duì)實(shí)驗(yàn)命中數(shù)據(jù)進(jìn)行解析,進(jìn)行實(shí)驗(yàn)的埋點(diǎn),然后進(jìn)入實(shí)時(shí)的分析引擎,統(tǒng)計(jì)實(shí)驗(yàn)效果。
實(shí)驗(yàn)的下發(fā)和解析有兩種方式:
一種是在流量的總?cè)肟谔幗y(tǒng)一進(jìn)行實(shí)驗(yàn)的下發(fā)和解析,一步到位,然后請(qǐng)求信息一塊下發(fā),隨著請(qǐng)求鏈路走,最后返回,命中那些策略會(huì)有對(duì)應(yīng)的標(biāo)識(shí)。如果實(shí)驗(yàn)數(shù)比較少時(shí),解析無(wú)壓力,實(shí)驗(yàn)相關(guān)性解析比較小,實(shí)驗(yàn)消耗帶寬不大,此時(shí)是合適的。但是隨著實(shí)驗(yàn)規(guī)模的增大,由于現(xiàn)在的廣告系統(tǒng)是分布式的系統(tǒng),如果完整的實(shí)驗(yàn)信息一直隨著請(qǐng)求下發(fā)的話帶寬消耗會(huì)非常嚴(yán)重,造成返回結(jié)果超時(shí),可用性下降,實(shí)驗(yàn)時(shí)間就會(huì)變得很長(zhǎng)。因此出現(xiàn)了另一種方式,由對(duì)應(yīng)的服務(wù)分別對(duì)對(duì)應(yīng)策略的實(shí)驗(yàn)情況進(jìn)行解析,而其他策略的實(shí)驗(yàn)情況則不需要解析,這樣就只獲取自己感興趣的信息,避免了信息的冗余。
為什么剛開(kāi)始沒(méi)有進(jìn)行這樣的設(shè)計(jì),因?yàn)橄到y(tǒng)剛開(kāi)始是解決從無(wú)到有的問(wèn)題而不是一到多的問(wèn)題。第一步是實(shí)驗(yàn)平臺(tái)的創(chuàng)建,采用第一種方式比較簡(jiǎn)單,可以很快的將實(shí)驗(yàn)下發(fā)。
④ 廣告?zhèn)?A/B 實(shí)驗(yàn)
常用的 A/B 實(shí)驗(yàn)是關(guān)于流量側(cè)的分桶實(shí)驗(yàn),根據(jù)流量的不同配比進(jìn)行不同實(shí)驗(yàn)的對(duì)比。但是這種流量側(cè)的分桶實(shí)驗(yàn)不能滿足廣告的一些需求。在實(shí)際的廣告系統(tǒng)中,會(huì)出現(xiàn)針對(duì)某些廣告行業(yè)或者廣告主,進(jìn)行嘗試性的策略,關(guān)注的實(shí)驗(yàn)效果也是被關(guān)注的廣告行業(yè)或者廣告主的效果。如果用流量側(cè)實(shí)驗(yàn)的話也不是不行,但是在進(jìn)行實(shí)驗(yàn)效果分析時(shí)候,數(shù)據(jù)分析需要具體到廣告主粒度,會(huì)給統(tǒng)計(jì)分析引擎帶來(lái)極大的挑戰(zhàn);如果不這么做,仍然只看整體的效果,實(shí)驗(yàn)分析效果必定是被稀釋的,無(wú)法準(zhǔn)確的反映出策略的意義。這樣就需要進(jìn)行廣告?zhèn)葘?shí)驗(yàn)的機(jī)制設(shè)計(jì):
首先會(huì)進(jìn)行實(shí)驗(yàn)對(duì)象的圈定,包括:廣告主 、廣告類別、廣告計(jì)劃、廣告創(chuàng)意等。
然后進(jìn)行同質(zhì)或非同質(zhì)實(shí)驗(yàn):
同質(zhì)實(shí)驗(yàn)(即對(duì)一個(gè)推廣計(jì)劃的受眾進(jìn)行隨機(jī)的劃分,一分為二,在一分為二的基礎(chǔ)上作用不同的策略進(jìn)行對(duì)比),一個(gè)計(jì)劃,可能會(huì)創(chuàng)建兩個(gè)類似于“偽計(jì)劃”的概念,然后對(duì)偽計(jì)劃同時(shí)進(jìn)行系統(tǒng)投放。進(jìn)入兩個(gè)人群的劃分當(dāng)中,然后進(jìn)行效果對(duì)比。
非同質(zhì)實(shí)驗(yàn),這個(gè)是嘗試性的圈定一波人去進(jìn)行實(shí)驗(yàn),這種往往是沒(méi)有對(duì)照的是根據(jù)實(shí)驗(yàn)效果進(jìn)行縱向的對(duì)比判定,也就是當(dāng)前的策略實(shí)驗(yàn)效果與之前沒(méi)有進(jìn)行的實(shí)驗(yàn)的策略運(yùn)行效果進(jìn)行對(duì)比判斷。
⑤ 廣告預(yù)算獨(dú)立 A/B 實(shí)驗(yàn)
廣告實(shí)驗(yàn)平臺(tái)在具體的廣告實(shí)驗(yàn)中會(huì)遇到的問(wèn)題,這種問(wèn)題在非廣告業(yè)務(wù)中是沒(méi)有的。因?yàn)樵趶V告領(lǐng)域涉及到 A、U、C 這三方,這三方是個(gè)有效的完整回路,一個(gè)簡(jiǎn)單的回路就考慮到計(jì)劃的投放->花錢->廣告下線,這里會(huì)涉及預(yù)算,預(yù)算沒(méi)有了就會(huì)下線。這里會(huì)涉及個(gè)問(wèn)題,如果在進(jìn)行這種簡(jiǎn)單的流量分桶實(shí)驗(yàn)的話,一分為二,上不同的策略,這兩個(gè)策略的結(jié)果對(duì)廣告主預(yù)算的消耗速度是不一樣的,帶來(lái)的結(jié)果是,假如某個(gè)分桶(五五分),一段時(shí)間會(huì)發(fā)現(xiàn) A 桶消耗的快,如果沒(méi)有進(jìn)行預(yù)算的獨(dú)立,會(huì)把 B 桶的預(yù)算拉過(guò)去,具體表現(xiàn)就是廣告主的錢,在 A 桶花費(fèi)的更多,如果流量小的時(shí)候效果可能非常好,但是隨著流量的不斷的放大會(huì)發(fā)現(xiàn)策略的實(shí)驗(yàn)效果會(huì)變的很小。所以廣告預(yù)算的獨(dú)立性會(huì)在廣告主側(cè)實(shí)驗(yàn)的時(shí)候就考慮到,比如說(shuō)計(jì)劃的一分為二,預(yù)算平均分配,各自獨(dú)立,互不影響。最后會(huì)考慮將預(yù)算獨(dú)立實(shí)驗(yàn)應(yīng)用在流量側(cè)分桶,目前沒(méi)有做但是經(jīng)過(guò)論證是可行的。
⑥ 實(shí)驗(yàn)檢驗(yàn)與效果評(píng)估
實(shí)驗(yàn)檢驗(yàn)與效果評(píng)估,是實(shí)時(shí)的效果評(píng)估,能夠做到5分鐘(保守的)內(nèi)的數(shù)據(jù)延遲,如果1分鐘也可以,但是問(wèn)題點(diǎn)在于涉及廣告效果衡量時(shí),比如 ctr=互動(dòng)/曝光,互動(dòng)可能會(huì)有延遲,會(huì)造成計(jì)算出的結(jié)果飄忽不定,所以為了讓實(shí)驗(yàn)效果趨于穩(wěn)定會(huì)5分鐘計(jì)算一次。
對(duì)于跨多天的實(shí)驗(yàn)效果分析采取的機(jī)制是離線跨天+實(shí)時(shí)流分析引擎。由于實(shí)時(shí)流機(jī)制的效果不如離線的,這里又進(jìn)行了優(yōu)化,比如幾個(gè)小時(shí)之前的,如果離線進(jìn)行這種任務(wù)的調(diào)度都能跑出來(lái)的話,也會(huì)用離線的方式進(jìn)行批量的處理來(lái)替換今天早些時(shí)候的實(shí)時(shí)流分析數(shù)據(jù),實(shí)時(shí)流會(huì)傾向于用最近比如一個(gè)小時(shí)或兩個(gè)小時(shí)的數(shù)據(jù)。在實(shí)驗(yàn)決策角度來(lái)說(shuō),實(shí)時(shí)流主要是看實(shí)驗(yàn)效果會(huì)不會(huì)帶來(lái)嚴(yán)重的缺陷,以便進(jìn)行實(shí)驗(yàn)的及時(shí)終止,離線的數(shù)據(jù)處理帶來(lái)的實(shí)時(shí)報(bào)表主要作為實(shí)驗(yàn)效果的評(píng)定。
整體的實(shí)驗(yàn)效果會(huì)有可用性的監(jiān)控(例如對(duì)流量分桶的監(jiān)控,不同策略對(duì)流量層面的可用性是不一樣的),保證兩個(gè)實(shí)驗(yàn)分桶的可用性在同一個(gè)水平上的。
實(shí)驗(yàn)平臺(tái)支持的業(yè)務(wù)指標(biāo)將近4000萬(wàn)~1億的規(guī)模,而且支持自定義指標(biāo)的方式。同時(shí)實(shí)驗(yàn)支持版本的跟蹤,也支持 nodiff 的對(duì)照實(shí)驗(yàn)等。
2. 廣告精益洞察
精益洞察想解決的問(wèn)題是:由于線上的策略很多,怎樣讓策略運(yùn)行的時(shí)候,在系統(tǒng)之外能很好的看到系統(tǒng)的運(yùn)行狀態(tài),使得策略運(yùn)行的像水一樣透明,后來(lái)提出了精益矩陣的描述方法,整體上的業(yè)務(wù)分為多層次的業(yè)務(wù)階段,每個(gè)階段都會(huì)有完整的洞察。
上圖是系統(tǒng)的架構(gòu)圖。數(shù)據(jù)落地,進(jìn)入到實(shí)時(shí)流機(jī)制,實(shí)時(shí)流機(jī)制中的數(shù)據(jù)類別是分類的,之間是通過(guò) key 進(jìn)行關(guān)聯(lián),將日志構(gòu)建組件化,包括線上的調(diào)試日志,用戶的信息日志、線上跑策略跑模型的日志、廣告日志等等,再往上會(huì)進(jìn)行日志處理存儲(chǔ),分為離線存儲(chǔ)和在線存儲(chǔ),在線存儲(chǔ)會(huì)用到 PG 和 clickHouse 這種列式存儲(chǔ),以便在線即時(shí)訪問(wèn)。
整體的呈現(xiàn)效果是:每一層是一個(gè)業(yè)務(wù)策略階段;請(qǐng)求訪問(wèn)或者廣告召回集的處理,整體看是一個(gè)漏斗,從廣告數(shù)量來(lái)看是二維的,一個(gè)廣告召回集的數(shù)量,隨著策略的運(yùn)行,數(shù)量在不斷的減少。每個(gè)層面上都可以更細(xì)粒度看,例如不同的競(jìng)價(jià)類型占比的分布情況以及整體的出價(jià)水平都可以細(xì)粒度的查看,分辨出在不同策略層之間的表現(xiàn)差異,洞察策略的具體影響效果。
本文圖片全部來(lái)源于:DataFunTalk