您的位置:首頁>正文

還只知道“A/B測試”?是時候瞭解一下“多變數測試”了

徹底的設計改版最好使用A/B測試來驗證, 而MVT(多變數測試)則表示不同的UI元素之間是如何相互影響的, 並支持對設計的漸進式改進。

在優化設計的方法中, A/B測試受到了廣泛的關注。 MVT(多變數測試)是A/B測試的一種替代方法, 但大家對這種方法的瞭解並不多, 通常認為這種方式太耗時不值得等待。 雖然多變數測試有其局限性, 但是它的很多優點是AB測試無法比擬的。

一、多變數測試(MVT)

假設你要優化一個線上的產品詳情頁, 目的是大幅提升使用者將產品加入購物車的轉化率, 你要考慮到以下幾個可能的變化:多變數測試可以説明你確定在多個設計優化方案中, 哪幾個方案組合起來對於轉化率的效果最好。

首先, 我們來解釋一些術語

(1)變數

一個存在多種設計方案的UI元素(如圖片或標題);在我們的電商示例中, 變數是產品的視覺展示和操作按鈕的文案。

(2)變體

(3)變化

定義:多變數測試(MVT)是一種設計優化方法, 在使用者介面中測試多個指定變數的變體, 目標是最大化提升轉化率(主要的轉化, 比如完成一個訂單, 或者微轉化, 比如與頁面上的一個功能交互)。 這種方法能確定變體的哪種組合會產生最高轉化的設計方案(就指定的轉化目標而言)。

二、多變數測試(MVT)與A/B測試的區別

多變數測試通常被認為是A/B測試的一種類型, 儘管它的設置和強度有些不同。 以下是他們之間的相似點和不同點:

(1)這兩種方法的測試原理類似, 都是通過將線上網站(或應用程式)中的流量, 拆分並引導到有差異的頁面來測試其中的不同。

(2)針對某個具體的設計目標, 兩種方法都可以用來衡量哪種設計方案(即,

變化)可以產生最高轉化率。

(3)在A/B測試中, 被測方案可能不會僅僅是一些小的細節變化, 而是完全不同的兩種方案對比。 例如, 你可以有兩個佈局完全不同的頁面、不同的副本、不同的導航、不同的視覺設計等等。 A/B測試的結果將表明, 一個變化的性能優於另一個, 但是你將不知道這是因為你的副本更好, 視覺設計更好, 還是佈局更好(或者整體效果更好)。

相反, 如果使用多變數測試, 你可能總會將功勞歸於一個特定變體或變體組合。 因此, 舉例來說, 你可能會發現, 產品視頻在轉化過程中所產生的影響要比更改操作按鈕文案的效果要好得多, 這會為你提供進一步的策略和設計見解(例如, 它可能會告訴你投資優秀產品視頻製作是值得的)。

三、多變數測試(MVT)測量元素之間的相互作用

使用多變數測試(而不是A/B測試)的主要優點是:能夠確定頁面上的各種元素之間是如何交互的。 只有通過測試各種變體的每一個組合, 你不僅可以發現視覺A的性能優於視覺B, 而且C按鈕的性能優於按鈕D, 而且你還可以發現這些變體的最佳組合。

四、多變數測試(MVT)的局限性

有2個變數, 每個變數都有2個變體, 在多變數測試中就會有4個用以表示這些變體的所有可能組合的設計變化。

(1)在多變數測試中, 需要測試的大量變化導致了該方法的最大局限性:與A/B測試相比, 運行多變數測試通常需要更多的流量, 才能達到統計意義。 這是因為添加到比較中的每個變化都會導致即時流量被分成更小的部分,

因此, 為每個設計選項收集足夠的資料點也需要很長的時間。 (然而, 請記住, 運行測試所需的時間不僅取決於總體流量, 而且還取決於實驗目標轉化率的預期變化, 因為更大的改進比微小的差別更容易衡量。 )通常, 在更多的變化中分割即時流量會導致測試時間過長。

(2)MVT(多變數測試)的另一個限制是, 所有變體的組合必須在一起才有意義。 例如, 在頁面上測試一張圖片和一個標題的變體時, 請勿寫出涉及圖片變體細節的標題(例如“美妙的溫泉度假”與“美妙的海灘度假”以及相應的照片), 因為每個標題都會在一個變更中同每張圖片進行測試。 這種類型的實驗最好設置為A/B測試, 這樣可以更好地控制組合。

使用多變數測試來優化設計,而不是完全改變它。

多變數測試是對設計進行漸進式改進的好方法,而不是對設計進行大規模重新設計的好方法。因為它要求你識別頁面上某些感興趣的元素,以測試該變數的多個變體,所以你無法輕易地比較各種變化中的根本變化。

對於主要的設計優化,要在原始版本和提議的新版本之間運行A/B測試以找出哪個更好。然後,使用多變數測試來優化獲勝設計的各種元素。始終保持反覆運算!

五、得到啟示

如果你的目標是進行實質性的重新設計(比如重新設計主要的佈局),那麼使用A/B測試來比較這個新設計和當前的設計,會比MVT(多變數測試)更合適。一旦發現性能更高的設計,就可以使用多變數測試來進一步優化獲勝佈局中的特定元素。

原文作者:Aurora Harley

原文地址:https://www.nngroup.com/articles/multivariate-testing/

#專欄作家#

熊貓小生,微信公眾號:MUXDesign,人人都是產品經理專欄作家。高級交互設計師,UED負責人。關注互聯網C端產品設計相關,擅長移動端產品交互設計,前沿設計風格探索,設計流程優化和管理,歡迎交流~

本文翻譯發佈于人人都是產品經理。未經許可,禁止轉載。

題圖由譯者提供

這樣可以更好地控制組合。

使用多變數測試來優化設計,而不是完全改變它。

多變數測試是對設計進行漸進式改進的好方法,而不是對設計進行大規模重新設計的好方法。因為它要求你識別頁面上某些感興趣的元素,以測試該變數的多個變體,所以你無法輕易地比較各種變化中的根本變化。

對於主要的設計優化,要在原始版本和提議的新版本之間運行A/B測試以找出哪個更好。然後,使用多變數測試來優化獲勝設計的各種元素。始終保持反覆運算!

五、得到啟示

如果你的目標是進行實質性的重新設計(比如重新設計主要的佈局),那麼使用A/B測試來比較這個新設計和當前的設計,會比MVT(多變數測試)更合適。一旦發現性能更高的設計,就可以使用多變數測試來進一步優化獲勝佈局中的特定元素。

原文作者:Aurora Harley

原文地址:https://www.nngroup.com/articles/multivariate-testing/

#專欄作家#

熊貓小生,微信公眾號:MUXDesign,人人都是產品經理專欄作家。高級交互設計師,UED負責人。關注互聯網C端產品設計相關,擅長移動端產品交互設計,前沿設計風格探索,設計流程優化和管理,歡迎交流~

本文翻譯發佈于人人都是產品經理。未經許可,禁止轉載。

題圖由譯者提供

同類文章
Next Article
喜欢就按个赞吧!!!
点击关闭提示