Facebook 和 Google 的 A/B 測試

吳寧川，給 Google 每年帶來 100 億美元增長的 A/B 測試是什麼？，鈦媒體，2015/11/23

最近，前 Facebook 工程師覃超一篇關於 2010 年到 2015 年 Facebook 改版網站首頁歷程的文章受到極大關注。按照他的記錄，2012 年，當時的 Facebook 產品副總裁帶領一支公司內部頂尖高手組成的團隊，歷時大半年開發了新的網站首頁，進行了重大的改版與更新。隨後，Facebook 對該首頁進行了 A/B 測試：當測試到 5% 用戶群的時候，各項數據指標都在下滑；當測試到 12% 用戶群的時候，下滑趨勢依舊明顯。於是，Facebook 不得不放棄了這支 30 餘人團隊近一年努力的結果。

A/B 測試已經是一項成熟的測試、開發方法，被 Google 的開發團隊普遍採用。業內人士告訴鈦媒體記者，Google 廣告產品的每一個新改動也要經過一種嚴格的在線測試來驗證效果，在確保搜索體驗的同時提高廣告的轉化率，這種基於數據的互聯網產品開發和運營，可以大幅度加速創新、改善用戶體驗，起到事半功倍的效果。前 Google 廣告質量控制部門工程師王曄介紹，A/B 測試優化每年能為Google 帶來 100 億美元營收的增長。

簡單來說，A/B 測試就是對一個頁面的 A 版本和 B 版本進行測試，統計哪個版本的點擊率更高。最為常見的 A/B 測試形式叫做灰度測試，也就是對一個公司自有的互聯網用戶群進行 1%、2%、5%、10% 等規模的用戶測試，然後選擇測試效果最好的頁面推廣到全用戶群。 

實際上幾乎所有成功的互聯網公司，都不同程度地採用了 A/B 測試，用於網頁的優化與點擊率效果提升。王曄介紹說，Google 的各個產品都有成百上千個不同的測試版本同時運行，試驗數據決定了只有少數改動能最終上線，這些更好的改動可實現每月約 2% 的營收提升，最終達到 20% 的年化增長。 

而 Facebook 的經歷，更充分說明了在互聯網的世界裡沒有常勝將軍，經驗與直覺都不是互聯網世界的遊戲規則。只有通過不斷的測試和反复的數據分析，才能證明一個觀點或判斷是否正確。從 Facebook 的例子就可以看出，唯快不破和不斷試錯的背後，其實是“數據說話”的思維，A/B 測試就是一個讓數據說話的利器。