您的位置:首頁>正文

搭建一個可靠的A/B測試的方法:結構化的假設

在A/B測試裡, 提出一個你想要測試的念頭並不難。 提出一個你應當測試的想法才有難度。

怎麼才能提出應當測試的想法?每個玩A/B測試人可能都有點兒想法。

我這兒沒什麼別出心裁的, 只找到個能讓你按部就班搭建一個可靠的A/B測試的方法。

這個方法, 是從一個結構化的假設開始的。 讓我們一步步來看:

通常情況下, A/B測試內容的定奪依賴於人們的直覺和曾經的最佳實踐——最終卻產生了不利的結果。 另一些人則傾向於採取比較短視的方法, 只考慮轉化漏斗(獲取用戶/提高活躍/提高留存/獲取收入)的一個方面, 而不看長期目標。

為了克服這些最常見的優化錯誤, 把你的優化視為一整個過程來構建是很重要的。 這個過程包括進行徹底的研究, 提出正確的問題, 在問題的相關領域挖掘答案, 運行測試, 並最終獲得有價值的結果。 在這個過程中, 如何提出正確的問題, 是大有講究的——結構化。

結構化方法基本思想:把一個複雜問題的求解過程分階段進行, 而且這種分解是自頂向下, 逐層分解, 使得每個階段處理的問題都控制在人們容易理解和處理的範圍內。

根據Econsultancy CRO 2015報告, 採用結構化測試(即下文闡述的循序漸進構建測試的方法)的公司,

其銷售額大幅增加的可能性兩倍於盲目搞測試的公司。

為了使測試有意義(因此能讓結果有價值), 你首先要清楚地確定測試的內容以及測試的原因, 這就涉及到如何構建一個結構良好的假設, 進而用結構化假設來搞好A/B測試。 在這篇文章中, 我們將會儘量精確地引導你。

一、決定測試的內容

關鍵點在於建立一個堅實的假設, 用以擴大獲得勝利的機會, 而不是抓鬮一樣測試一個“我覺得OK”的想法。

一個堅實的假設要求你做出解釋或解決一個問題。 把它看作是將問題與解決方案聯繫起來的粘合劑。 舉個栗子, 你可以假設:在你的付款頁面添加一些能提高信任感的標識(建立信任感的各種元素。

比如某某認證, 某某客戶的評價, 這在《國外專家的轉化率優化指南》中提到過, 下面簡稱為信任標識), 可以解決該頁面轉換率較低的問題。

想必你已經注意到了——這個假設是由兩個變數組成的, 即原因(我們要測試的行為)和效果(我們期望的結果)。

一個結構化的假設將會構建一個強有力的實驗, 並可能產生高度可操作的(正面或負面)結果。 相反, 缺乏精心設計的假設的實驗可能會使你陷入在錯誤的方向投入時間和精力的尷尬境況。

但是, 如何開始制定一個假設呢?

理論上可以有兩種方法:

方法一:你可以按照歸納法 – 即依靠頭腦風暴產生一大堆思想, 然後查看以往的資料來驗證這些想法是否合理,
並形成一個假設。 方法二:或者你可以按照觀察模式的演繹法, 推導出一個測試假設。

無論哪種方式, 形成強有力的假設最關鍵的部分是其背後的研究。 讓我們來看看觀察模式的是如何形成一個強有力的假設的。

二、用觀測法制定假設觀察資料

注意你的記錄, 那裡可能藏著所有的關鍵資料。 不過, 這些資料都必須被提煉成一個合乎邏輯的假設。 這將經歷四個階段:資料—資訊—知識—智慧(在大環境下運用知識體系來推測事件緣由的能力)

顯然,在資料方面具有一定程度的理解能力是構建結構良好的假設的關鍵。通過瞭解你的頁面分析資料,並將其與你的業務目標對齊,可以將“簡單的客觀事實”或想法轉化為一個結構良好的假設。就是這樣:

分析你的頁面

你的頁面分析資料是你制定假設時的第一個停靠點。隨著大量資料的跟蹤,你可以找到與你網站當前狀況明顯相關的問題

例如,我們之前形成的“在支付頁面上添加信任標識”的假設可能是由“頁面的高退出率”引起的。頁面的退出率以及其他指標可以在你的頁面分析資料中找到。

Google Analytics(GA)和Kissmetrics等頁面分析工具可以向你顯示訪問者流覽你的網頁時留下的各類資料。其中,值得你跟蹤以驗證一個想法並建立一個假設的一些重要指標是:

流量報告:總流量,訪客總數(總體和個別網頁)等指標可以幫助你跟蹤測試影響的人數,以及完成測試的時間。獲取用戶報告:這可以幫助你確定訪問者來自哪裡(你的最佳流量來源)以及不同管道之間的績效差異。登錄頁面報告:你的登陸頁面和退出頁面顯示訪問者如何進入和離開網站。漏斗報告:這會讓你瞭解訪問者進入或退出行銷管道的問題,以及他們如何在不同頁面之間導航。設備類型:這將幫助你決定是否應該優先考慮優化特定設備上的體驗。

對於你從分析中得到的任何觀察結果,都要問自己足夠多的“為什麼”來形成一個可靠的假設。

將假設與業務目標校對

如果你有按照SMART原則(具體的,可衡量的,可實現的,與其他目標相關的,有時效的)來為你的業務設定目標,那麼你應該確保你的假設也符合此原則。

首先確定你的企業或組織中最重要的目標是什麼,然後把它們與現實的假設聯繫起來。

三、觀察用戶行為

現在你已經獲得了情報,能夠瞭解什麼遊客正在你的頁面上做什麼,那麼接下來你自然而然地會需要知道為什麼他們要這麼做。設計主題不明確,文案撰寫不明了,過早要求太多資訊等因素可能會導致轉換率低下。以下是可幫助你確定並消除問題的做法:

訪客行為分析

檢查當前訪問者的行為可以幫助你確定轉換過程中最緊迫問題的具體細節。

說到我們之前提及的信任標識假設——頁面分析資料誠實地顯示了有多少人從付款頁面中選擇了放棄付款直接離開,同時,利用用戶行為分析工具,如Heatmaps,Clickmaps,Mouse recording(國內的就不廣告了自行百度吧)等還是可以分辨出他們在哪些模組花費了大部分時間,或是完全忽略了哪些模組。

四、留心用戶意見

當你在設法搞出一個結構良好的假設時,你的分析(頁面分析或使用者行為分析)很有可能面臨敘述謬誤或確認偏倚的風險。這就是通過客戶調查收集即時定量和定性資料的地方。調查主要有兩種形式:現場調查和非現場調查。我們從簡單的非現場調查開始。

非現場調查

簡單來講就是收集用戶的回饋,其中非現場調查通過電子郵件或協力廠商調查網站來完成。

現場調查

現場調查的目的也是為了收集回饋資訊,但卻是即時的,通過一個快顯視窗之類的介面來接收使用者的回饋。比如,當你的使用者突然決定取消訂單或者說放棄支付的時候,你就可以彈出一個視窗,並預先準備好一些可能的答案——舉個栗子,訂外賣下單以後取消的話,會有一個視窗來收集你取消訂單的原因。此外,調查還可以通過某些用戶操作(例如,使用內置的搜索功能,打開產品詳細資訊頁面等)來觸發,以收集關於特定功能的回饋。

這是一個很好的機制,可以更多地瞭解你的用戶並驗證你的假設,幾乎是在與用戶的直接交流中收集關於興趣,態度或喜好的資訊。

總的來說,在計畫使用現場調查時,你可能想要考慮三件事情:

為什麼要問這個問題:清楚地勾畫出你正在進行調查的最終目標。例如,你是否想要回饋頁面設計/內容/相關性/可信任程度等什麼時候問這個問題:在正確的時間提出正確的問題是很重要的。你可以查看頁面,查看指標的平均時間,並向已經與你的網站/頁面進行足夠互動的訪問者提問。有哪些問題需要問:要問哪個問題很大程度上取決於你的最終目標。如果你正在進行客戶滿意度調查以獲得有關文案/設計的見解,那麼開放式問題就是很棒的選擇。如果你想量化客戶體驗,那麼測量淨推薦值(NPS,又稱淨促進者得分,一種顧客忠誠度分析指標,常見問題“你向朋友推薦這個產品的可能性有多大?”)就可以做到。

形成一個結構良好的假設是轉換優化難題中的一個關鍵部分,它可以説明你識別並消除轉換漏斗上造成用戶流失的漏洞,也就達到了幫你確定合適的測試內容的目的,進而讓你的測試有了意義,讓結果有了價值。

原標題:《A Step-by-Step Approach to Building a Strong A/B Testing Hypothesis》

原文地址:Visual Website Optimizer Blog

原文作者:Vaishali Jain

譯者:一顆糯米,Testin資料運營事業部的一小只,微信公眾號:雲測資料(testindata)

本文由 @一顆糯米 翻譯發佈于人人都是產品經理。未經許可,禁止轉載。

題圖來自 unsplash

顯然,在資料方面具有一定程度的理解能力是構建結構良好的假設的關鍵。通過瞭解你的頁面分析資料,並將其與你的業務目標對齊,可以將“簡單的客觀事實”或想法轉化為一個結構良好的假設。就是這樣:

分析你的頁面

你的頁面分析資料是你制定假設時的第一個停靠點。隨著大量資料的跟蹤,你可以找到與你網站當前狀況明顯相關的問題

例如,我們之前形成的“在支付頁面上添加信任標識”的假設可能是由“頁面的高退出率”引起的。頁面的退出率以及其他指標可以在你的頁面分析資料中找到。

Google Analytics(GA)和Kissmetrics等頁面分析工具可以向你顯示訪問者流覽你的網頁時留下的各類資料。其中,值得你跟蹤以驗證一個想法並建立一個假設的一些重要指標是:

流量報告:總流量,訪客總數(總體和個別網頁)等指標可以幫助你跟蹤測試影響的人數,以及完成測試的時間。獲取用戶報告:這可以幫助你確定訪問者來自哪裡(你的最佳流量來源)以及不同管道之間的績效差異。登錄頁面報告:你的登陸頁面和退出頁面顯示訪問者如何進入和離開網站。漏斗報告:這會讓你瞭解訪問者進入或退出行銷管道的問題,以及他們如何在不同頁面之間導航。設備類型:這將幫助你決定是否應該優先考慮優化特定設備上的體驗。

對於你從分析中得到的任何觀察結果,都要問自己足夠多的“為什麼”來形成一個可靠的假設。

將假設與業務目標校對

如果你有按照SMART原則(具體的,可衡量的,可實現的,與其他目標相關的,有時效的)來為你的業務設定目標,那麼你應該確保你的假設也符合此原則。

首先確定你的企業或組織中最重要的目標是什麼,然後把它們與現實的假設聯繫起來。

三、觀察用戶行為

現在你已經獲得了情報,能夠瞭解什麼遊客正在你的頁面上做什麼,那麼接下來你自然而然地會需要知道為什麼他們要這麼做。設計主題不明確,文案撰寫不明了,過早要求太多資訊等因素可能會導致轉換率低下。以下是可幫助你確定並消除問題的做法:

訪客行為分析

檢查當前訪問者的行為可以幫助你確定轉換過程中最緊迫問題的具體細節。

說到我們之前提及的信任標識假設——頁面分析資料誠實地顯示了有多少人從付款頁面中選擇了放棄付款直接離開,同時,利用用戶行為分析工具,如Heatmaps,Clickmaps,Mouse recording(國內的就不廣告了自行百度吧)等還是可以分辨出他們在哪些模組花費了大部分時間,或是完全忽略了哪些模組。

四、留心用戶意見

當你在設法搞出一個結構良好的假設時,你的分析(頁面分析或使用者行為分析)很有可能面臨敘述謬誤或確認偏倚的風險。這就是通過客戶調查收集即時定量和定性資料的地方。調查主要有兩種形式:現場調查和非現場調查。我們從簡單的非現場調查開始。

非現場調查

簡單來講就是收集用戶的回饋,其中非現場調查通過電子郵件或協力廠商調查網站來完成。

現場調查

現場調查的目的也是為了收集回饋資訊,但卻是即時的,通過一個快顯視窗之類的介面來接收使用者的回饋。比如,當你的使用者突然決定取消訂單或者說放棄支付的時候,你就可以彈出一個視窗,並預先準備好一些可能的答案——舉個栗子,訂外賣下單以後取消的話,會有一個視窗來收集你取消訂單的原因。此外,調查還可以通過某些用戶操作(例如,使用內置的搜索功能,打開產品詳細資訊頁面等)來觸發,以收集關於特定功能的回饋。

這是一個很好的機制,可以更多地瞭解你的用戶並驗證你的假設,幾乎是在與用戶的直接交流中收集關於興趣,態度或喜好的資訊。

總的來說,在計畫使用現場調查時,你可能想要考慮三件事情:

為什麼要問這個問題:清楚地勾畫出你正在進行調查的最終目標。例如,你是否想要回饋頁面設計/內容/相關性/可信任程度等什麼時候問這個問題:在正確的時間提出正確的問題是很重要的。你可以查看頁面,查看指標的平均時間,並向已經與你的網站/頁面進行足夠互動的訪問者提問。有哪些問題需要問:要問哪個問題很大程度上取決於你的最終目標。如果你正在進行客戶滿意度調查以獲得有關文案/設計的見解,那麼開放式問題就是很棒的選擇。如果你想量化客戶體驗,那麼測量淨推薦值(NPS,又稱淨促進者得分,一種顧客忠誠度分析指標,常見問題“你向朋友推薦這個產品的可能性有多大?”)就可以做到。

形成一個結構良好的假設是轉換優化難題中的一個關鍵部分,它可以説明你識別並消除轉換漏斗上造成用戶流失的漏洞,也就達到了幫你確定合適的測試內容的目的,進而讓你的測試有了意義,讓結果有了價值。

原標題:《A Step-by-Step Approach to Building a Strong A/B Testing Hypothesis》

原文地址:Visual Website Optimizer Blog

原文作者:Vaishali Jain

譯者:一顆糯米,Testin資料運營事業部的一小只,微信公眾號:雲測資料(testindata)

本文由 @一顆糯米 翻譯發佈于人人都是產品經理。未經許可,禁止轉載。

題圖來自 unsplash

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示