對此的數學推理是，過濾掉不受影響的用戶可以提高測試的靈敏度，減少噪音，讓您更容易找到效果/提升。 如果說 CRO 對我的性格做了什麼，那就是提高了我的懷疑水平。 如果任何事情看起來好得令人難以置信，我認為出了點問題。 實際上，大多數時候，我都是在戳東西，看看它們可能在哪裡損壞或設置不正確。 隨著測試的繼續和我們收集更多數據，陰影區域可能會朝著特定方向發展。 與之前顯示每日流量水平的圖表不同，此圖表顯示了隨時間推移的累積總影響，由我們的建模過程計算得出。 陰影區域代表我們對這個累積數字的 95% 置信範圍。 雖然幻燈片只顯示了三個數據點，但如果變體頁面的實際訪問量趨勢高於對照並且預測繼續下去，結果將如下圖所示。 3、我們也了解了對照組的流量和變體組的流量之間的關係。 例如，您會注意到，在這個虛構的示例中，控制頁面的流量歷來總是略高於變體頁面。 然後，請確保您正確記錄了您的實驗數據，包括訪問者數量及其分組、您的轉化目標以及在轉化漏斗中跟踪所需的任何行為。 估計您的最小可檢測效果、所需樣本量、統計功效以及您的測試在開始運行測試之前需要運行多長時間。 確定 A/B 測試平台有效性的一種方法是執行 A/A 測試。 這意味著您創建兩個或多個相同的變體並運行 A/B 測試以查看平台如何處理這些變體。
