5分鐘講清楚ABtset，詳解數(shù)據(jù)分析必備模型——辛普森悖論!

假設(shè)你是一個(gè)APP的負(fù)責(zé)人，你的團(tuán)隊(duì)成員在爭(zhēng)吵不休。因?yàn)橐粋€(gè)頁(yè)面的設(shè)計(jì)修改，你現(xiàn)在面臨一個(gè)選擇問(wèn)題:選擇方案A是否更好？B計(jì)劃更好嗎？

今天介紹的分析思維模型:A/B測(cè)試模型可以幫助你做出更科學(xué)的選擇。

1.模型介紹

A/B測(cè)試是將優(yōu)化前和優(yōu)化后的方案在同一時(shí)間段展示給同類(lèi)用戶，通過(guò)數(shù)據(jù)分析判斷是否符合預(yù)期的測(cè)試方法。

廣告界有一句經(jīng)典的話:

我知道廣告的投入有一半是沒(méi)用的，但問(wèn)題是我不知道是哪一半。

這句話在傳統(tǒng)廣告行業(yè)一直都是成立的。

但隨著互聯(lián)網(wǎng)的發(fā)展，人們可以快速獲取大量的用戶行為數(shù)據(jù)，從而準(zhǔn)確衡量廣告的效果，減少無(wú)效廣告的投放。這背后的關(guān)鍵技術(shù)是A/B測(cè)試模型。

互聯(lián)網(wǎng)時(shí)代，細(xì)節(jié)決定成敗。

谷歌、臉書(shū)、字節(jié)跳動(dòng)等知名互聯(lián)網(wǎng)公司正在廣泛應(yīng)用A/B測(cè)試。無(wú)論是色彩調(diào)整、位置擺放還是文案設(shè)計(jì)，很多細(xì)節(jié)都會(huì)通過(guò)A/B測(cè)試來(lái)驗(yàn)證，從而實(shí)現(xiàn)產(chǎn)品的不斷優(yōu)化。2.應(yīng)用示例

A/B測(cè)試廣泛應(yīng)用于互聯(lián)網(wǎng)、醫(yī)療、金融等領(lǐng)域。以APP設(shè)計(jì)方案的選擇為例:

首先要明確指標(biāo)是什么，比如轉(zhuǎn)化率高就代表好。

其次，要合理劃分流量，保證A組和B組的用戶特征基本一致，并且兩者都具有代表性，能夠代表整體用戶特征。

如果整體流量比較大，為了減少測(cè)試可能造成的損失，建議在測(cè)試初期小范圍嘗試，比如取2%的流量，其中1%的用戶為A組，1%的用戶為b組。

當(dāng)流量足夠大時(shí)，可以根據(jù)用戶的特征(如年齡、性別等)將用戶劃分為更細(xì)致的用戶群。)分別進(jìn)行A/B測(cè)試，盡量排除其他因素的干擾。

然后，通過(guò)數(shù)據(jù)分析，比較檢驗(yàn)結(jié)果，并做顯著性檢驗(yàn)。

可以使用在線AB測(cè)試結(jié)果分析工具輸入訪問(wèn)次數(shù)和轉(zhuǎn)化次數(shù)，可以自動(dòng)計(jì)算轉(zhuǎn)化率和統(tǒng)計(jì)顯著值。

如果測(cè)試結(jié)果不顯著，可能是由于樣本量不足。建議增加檢驗(yàn)的比重，以便得到更明確的檢驗(yàn)結(jié)果，從而指導(dǎo)下一步的決策行動(dòng)。

最后，在大膽假設(shè)的基礎(chǔ)上，一定要仔細(xì)驗(yàn)證和考慮灰度發(fā)布是否必要，讓一部分用戶先試用新版本，避免出現(xiàn)辛普森悖論，否則可能造成不良影響。

辛普森悖論(Simpson Paradox)是由英國(guó)統(tǒng)計(jì)學(xué)家辛普森在1951年提出的，即在一定條件下的兩組數(shù)據(jù)分開(kāi)討論時(shí)會(huì)滿足一定的性質(zhì)，但一旦放在一起考慮，就可能得出相反的結(jié)論。

比如A組男性1000人，女性200人，轉(zhuǎn)化率分別為10%和75%。B組有200名男性和1000名女性，轉(zhuǎn)化率分別為5%和50%。

如果男女分開(kāi)，A組的轉(zhuǎn)化率明顯高于B組，10%高于5%，75%高于50%。

但如果男女合計(jì)，A組的轉(zhuǎn)化率只有20.8%，還不到B組42.5%轉(zhuǎn)化率的一半。

因此，在A/B測(cè)試過(guò)程中，需要特別注意組的權(quán)重，消除組基數(shù)差異帶來(lái)的影響，使測(cè)試樣本真實(shí)反映總體分布。

因?yàn)閿?shù)量和質(zhì)量并不等價(jià)，但是，因?yàn)閿?shù)量更容易衡量，人們總是習(xí)慣用數(shù)量來(lái)評(píng)價(jià)好壞，結(jié)果卻可能是錯(cuò)過(guò)了重點(diǎn)。

從辛普森悖論中，我們可以得到一點(diǎn)啟示:A做了很多不重要的小事，而B(niǎo)做了幾件非常重要的事，最后A的成就可能遠(yuǎn)不如B。

這就是為什么我們要牢記二八法則，用20%的高效時(shí)間專(zhuān)注于做能產(chǎn)生80%效果的重要事情。臨終遺言

在應(yīng)用A/B測(cè)試模型時(shí)，也要遵循大事優(yōu)先的原則，運(yùn)用全局思維，優(yōu)先考慮那些對(duì)業(yè)務(wù)影響較大的測(cè)試，而不是不分輕重緩急抓眉毛胡子一把抓。

從小到大經(jīng)歷過(guò)各種各樣的考試，我們都有這樣的經(jīng)歷:從0到90，從90到99，從99到100，三者花費(fèi)的時(shí)間是一樣的。分?jǐn)?shù)越高，難度越大，效率越低。

在計(jì)算機(jī)軟件開(kāi)發(fā)領(lǐng)域，有一個(gè)“99定律”，也被稱(chēng)為90-90定律:

前90%的代碼占用了90%的開(kāi)發(fā)時(shí)間，剩下的10%的代碼又占用了90%的開(kāi)發(fā)時(shí)間。

在做A/B測(cè)試之前，我們可以花少量的時(shí)間快速定位正確的方向，先把細(xì)節(jié)放在一邊(必要的話后期再做優(yōu)化也不遲)，這樣才能實(shí)現(xiàn)快速迭代，形成良性循環(huán)，從而獲得更好的結(jié)果。