ABテストの有意性を確認する

やりたいこと

バリアントAは4.2%、Bは4.6%転換した — 良いのか、偶然か。2比率z検定が、サンプル数から見込まれるノイズと比較してzスコアとp値を返します。

検定を実行

各バリアントの訪問者数と転換数を入力します。各群の率・絶対リフト・相対リフト・プール済みzスコア・両側p値を報告し、α=0.05で有意判定を出します。

• p<0.05は「真の差がないならこの差は起きにくい」であって「BがXだけ良い」ではありません。
• 非有意は効果なしの証明ではなく、サンプル不足の可能性もあります。

具体例

A：10,000人訪問・420転換（4.2%）、B：10,000人・460転換（4.6%）。z≒1.38、p≒0.17で非有意。差はノイズと矛盾しません。

対応範囲

2群のみ・両側・連続性補正なしです。毎日覗いてpが0.05を割った時点で止めると偽陽性が増えます。先にサンプル数を決め（サンプルサイズツール）、1度だけ測りましょう。