データ分析における「客観的な判断」の重要性

売上の平均が上がった、新しい広告の購入率が高かった。そのような結果を見たとき、数字の大小だけで「改善した」と判断してよいのでしょうか。

データを適切に読むには、全体の特徴をまとめる「代表値」と、仮定の下で結果を評価する「仮説検定」の役割を理解することが大切です。この記事では、平均値・中央値・最頻値の違いから、検定結果の読み方までを具体例で整理します。

目次

1.代表値は、データの特徴をまとめる数値

代表値とは、データの中心や典型的な値を表すために使う数値です。代表的なものとして、平均値・中央値・最頻値があります。

それぞれに特徴があり、どれか1つが常に優れているわけではありません。何を知りたいのか、データがどのように分布しているのかに合わせて使い分けましょう。

代表値求め方読み取る際の注意点
平均値すべての値の合計を、データの個数で割る極端に大きい値や小さい値の影響を受ける
中央値小さい順に並べた中央の値を求める。個数が偶数なら中央2個の平均値の大きさだけでなく、並べた位置に基づく
最頻値最も多く現れる値を求める複数ある場合や、代表的な値を決めにくい場合がある

例えば、5人の作業時間が「10分、10分、15分、20分、95分」だったとします。この場合、平均値は30分、中央値は15分、最頻値は10分です。

平均値だけを見ると、典型的な作業時間も30分程度だと考えるかもしれません。しかし、5人中4人は20分以内に終えています。95分という値が平均を引き上げているため、中央値や個々の値も確認すると、状況を捉えやすくなります。

2.代表値と一緒に、散らばりや集計条件を見る

代表値が同じでも、データの中身が似ているとは限りません。例えば、「4、5、6」と「0、5、10」はどちらも平均値が5ですが、後者の方が散らばっています。

平均値や中央値を比較するときは、ヒストグラムや箱ひげ図なども使い、分布を確認しましょう。必要に応じて、四分位範囲や標準偏差などの指標を併用します。

また、集計対象や期間が異なると、数値の違いをそのまま評価できないことがあります。店舗の売上なら営業日数、学習時間なら対象者や平日・休日の違いなども確認してください。

極端な値を見つけた場合も、すぐに削除してはいけません。入力ミスなのか、実際に起きた出来事なのかを調べ、除外するなら理由と基準を記録することが大切です。

3.仮説検定では、仮定とデータの関係を調べる

手元のデータで差が見られても、その差だけで母集団にも違いがあると結論づけることはできません。限られた対象から得た結果には、標本の取り方による変動が含まれるためです。

仮説検定では、まず検証したい内容に応じて「帰無仮説」と「対立仮説」を設定します。例えば、2種類の購入ボタンを比較する場合は、次のように考えます。

仮説この例での内容
帰無仮説AとBの母集団における購入率は等しい
対立仮説AとBの母集団における購入率は異なる

そのうえで、帰無仮説と検定の前提条件の下で、観測された結果を評価します。差があるかどうかを調べる検定だけで、実務上の価値や原因まで自動的に分かるわけではありません。

p値と有意水準を区別する

p値とは、帰無仮説と検定の前提条件が成り立つとしたとき、観測した結果と同程度以上に極端な結果が得られる確率です。何を「極端」とするかは、使う検定や対立仮説によって決まります。

一方、有意水準は、検定の判断基準として事前に設定する値です。例えば5%と定めた場合、通常はp値が0.05以下なら帰無仮説を棄却します。

p値は、帰無仮説が正しい確率や、結果が偶然だった確率ではありません。 また、有意水準5%は、今回の結論が5%の確率で誤っているという意味でもありません。

4.具体例:購入率2.0%と2.6%に差はあるか

あるECサイトで、購入ボタンAとBを比較する架空の実験を考えます。利用者を無作為に2群へ分け、各利用者が片方だけを見るようにし、同じ期間内に購入したかどうかを集計したとします。

ここでは、利用者同士の結果は独立であり、事前に各群1,000人で評価する計画を立てていたものとします。得られた結果は次のとおりです。

ボタン購入した人数購入しなかった人数合計購入率
A20人980人1,000人2.0%
B26人974人1,000人2.6%

観測された購入率は、Bの方が0.6ポイント高くなっています。Aの購入率を基準とした相対的な増加率では30%ですが、この数字だけでBの効果が確認できたとは言えません。

この表に対して、Pearsonのカイ二乗検定を連続性補正なしで行うと、検定統計量は約0.801、自由度は1、p値は約0.371になります。あらかじめ有意水準を5%と決めていた場合、帰無仮説は棄却できません。

したがって、この例では「購入率に統計的に有意な差があるとは言えない」と判断します。ただし、これは「AとBの購入率が同じだと証明された」という意味ではありません。

計算条件も一緒に記録する

検定名だけでなく、補正の有無や、片側・両側のどちらを調べる計画なのかも明記しましょう。同じデータでも、方法や設定によってp値が変わる場合があります。

例えば、PythonのSciPyでこの例を計算する場合、chi2_contingency の既定では自由度1のときに連続性補正が適用されます。上記の約0.371を再現するには、補正を行わない correction=False の指定が必要です。

5.検定は、結果を見る前の設計が重要

検定を正しく使うには、計算方法だけでなく、データの集め方にも注意が必要です。比較する対象が偏っていたり、同じ人の結果を独立したデータとして何度も数えたりすると、想定した条件から外れてしまいます。

実験や調査を始める前に、比較する指標、必要なデータ数、実施期間、分析方法を決めておきましょう。必要なデータ数は、検出したい差の大きさや、想定する購入率などによって変わります。

事前に決める内容確認すること
目的何を比較し、どの判断に使うのか
評価指標購入率、売上、所要時間などのうち何を主に見るか
対象と割り付け誰を対象にし、どのように群を分けるか
データ数・期間何人・何件、いつまで集めるか
分析方法検定方法、有意水準、除外基準など
終了条件どの時点で集計・判断するか

途中で何度も検定し、有意差が出た瞬間だけを採用すると、想定した誤判定の確率を保てなくなることがあります。途中経過で判断する必要がある場合は、それに対応した分析方法や停止ルールを事前に設計してください。

6.有意差だけで、採用・不採用を決めない

統計的に有意であっても、実務上の効果が小さい場合があります。反対に、有意差が出なかった場合でも、データが不足していて、判断に必要な精度が得られていない可能性があります。

結果を評価するときは、差の大きさと不確実性、導入費用、運用上の負担も合わせて考えましょう。購入率なら何ポイント変化したのか、処理時間なら何秒短くなったのかを示すと、判断につなげやすくなります。

また、観察したデータに差や関連があることだけで、原因を断定することはできません。例えば、研修参加者の成績が高くても、もともとの経験や意欲の違いが影響している可能性があります。

「数値に違いがある」「統計的に有意である」「その施策が原因である」「導入する価値がある」は、それぞれ別の判断です。結論を書く際は、今回のデータからどこまで言えるのかを明確にしてください。

7.分析結果を伝えるときの確認事項

分析結果を報告するときは、結論だけでなく、対象・方法・数値・限界を一緒に示しましょう。読み手が判断の根拠を確認できる形にすることが大切です。

先ほどの購入ボタンの例なら、次のようにまとめられます。

各群1,000人を対象とした実験で、購入率はAが2.0%、Bが2.6%でした。観測された差は0.6ポイントです。Pearsonのカイ二乗検定(連続性補正なし)ではp値は約0.371で、事前に設定した有意水準5%では統計的に有意な差は認められませんでした。この結果だけで、両者が同等であると結論づけることもできません。

代表値はデータの特徴を整理し、仮説検定は仮定とデータの関係を評価するために使います。それぞれの役割を理解し、数値の大小だけでなく、集め方や不確実性まで確認する習慣をつけましょう。

Learning Tools

記事を検索したい方はここから!

辞書から探す

本文中で気になった概念やキーワードを、辞書ページで一覧から確認できます。

辞書を見る