確率を意思決定に活かす方法|期待値・有意差・リスクの読み方を具体例で解説
新しい企画を始めるか、現在の方法を続けるか。仕事や学習では、結果が分からないまま選択しなければならない場面があります。
そのようなとき、確率やデータは、判断の前提を整理する助けになります。ただし、期待値が高い選択が常に適切とは限らず、統計的に有意な差が出たことだけで、採用すべき施策が決まるわけでもありません。
この記事では、期待値・リスク・統計的有意差の違いを整理し、不確実な状況で判断するための手順を具体例で説明します。
目次
1.まず、何を基準に選ぶのかを決める
確率を使って判断する前に、何を達成したいのかを明確にしましょう。利益を増やすこと、失敗の可能性を小さくすること、作業時間を短くすることでは、適した選択が変わります。
例えば、利益が大きいものの失敗も多い企画と、利益は小さいものの成功しやすい企画を比べる場合、「成功確率が高い方」と「期待される利益が大きい方」は一致するとは限りません。
また、使える予算や時間、許容できる損失にも違いがあります。数値を計算する前に、目的と制約を一緒に書き出すことで、判断基準をそろえやすくなります。
| 整理する項目 | 確認すること |
|---|---|
| 目的 | 利益、時間、品質など、何を改善したいか |
| 選択肢 | 実施する、見送る、小規模に試すなど、どの方法があるか |
| 制約 | 予算、人員、期限にどのような上限があるか |
| 許容できる損失 | 失敗した場合、どこまで負担できるか |
| 判断期限 | いつまでに決める必要があるか |
2.期待値は、結果を確率で重み付けした平均
期待値とは、起こり得る結果の値に、それぞれの確率を掛けて足し合わせたものです。結果がいくつかに分かれる場合、その全体を平均的な値として整理できます。
ここでは、2つの架空の企画を比較します。表の利益・損失には必要な費用が含まれ、結果は成功か失敗のどちらかになると仮定します。
| 項目 | 企画A | 企画B |
|---|---|---|
| 成功確率 | 50% | 80% |
| 成功した場合の利益 | 100万円 | 30万円 |
| 失敗した場合の損失 | 10万円 | 0円 |
| 利益の期待値 | 45万円 | 24万円 |
企画Aの期待値は「100×0.5+(−10)×0.5=45万円」、企画Bは「30×0.8+0×0.2=24万円」です。この仮定では、企画Aの方が利益の期待値は大きくなります。
一方、成功確率は企画Bの方が高く、設定した条件では失敗しても金銭的損失がありません。期待値の大きさと、成功しやすさや損失の小ささは、別の性質です。
また、企画Aを1回実施して45万円の利益が得られるわけではありません。この例で実際に生じる結果は、100万円の利益か10万円の損失であり、期待値は結果を整理するための平均です。
3.確率の見積もりが変わると、判断も変わる
期待値は、入力した確率や利益の見積もりに依存します。根拠が曖昧な数値を使えば、計算が正しくても、判断の確かさは高まりません。
先ほどの企画Aについて、成功確率が50%ではなく30%だったとします。この場合の期待値は「100×0.3+(−10)×0.7=23万円」となり、企画Bの24万円を下回ります。
このように、前提を変えて結果がどう動くかを確かめることを「感度分析」と呼びます。確率を1つに決めきれない場合は、低め・標準・高めなど複数の条件で比較すると、判断が前提にどの程度左右されるかを確認できます。
過去のデータから確率を見積もる場合も、今回と条件が近いかを調べましょう。対象者、実施時期、価格、担当者などが変われば、過去の成功率がそのまま当てはまるとは限りません。
期待値と一緒に、失敗した場合の影響を見る
期待値が高くても、失敗した際の損失に耐えられなければ、その選択を取りにくい場合があります。平均的な利益だけでなく、損失額、資金が必要になる時期、やり直せるかどうかも確認してください。
小規模に試せるなら、試行の費用と、そこから得られる情報の価値を比較する方法もあります。ただし、小規模での結果が、そのまま大規模な実施でも再現するとは限らない点には注意が必要です。
4.観測された差と、統計的に有意な差を区別する
施策を試した後は、得られた差をどう評価するかが問題になります。例えば、新しいボタンのクリック率が高くても、限られた利用者から得た結果だけで、全体でも優れているとは断定できません。
仮説検定では、帰無仮説と検定の前提条件を置き、その下で観測結果を評価します。2つのクリック率を比較するなら、「母集団におけるクリック率は等しい」という帰無仮説を設定する方法があります。
ここで使うp値と有意水準は、役割が異なります。用語を区別して読むことが大切です。
| 用語 | 意味 |
|---|---|
| p値 | 帰無仮説と検定の前提条件の下で、観測結果と同程度以上に極端な結果が得られる確率 |
| 有意水準 | 帰無仮説を棄却するかどうかの判断に使う、事前に設定する基準 |
| 効果の大きさ | クリック率が何ポイント変わったかなど、実際に評価したい差の規模 |
p値は、帰無仮説が正しい確率や、結果が偶然だった確率ではありません。 また、統計的に有意であることだけで、原因や実務上の重要性が確定するわけでもありません。
5.具体例:クリック率5%と7%をどう判断するか
あるWebサイトで、旧ボタンAと新ボタンBを比較する架空の実験を考えます。異なる利用者を無作為に2群へ分け、各利用者が片方のボタンを1回だけ見て、クリックしたかどうかを記録したとします。
利用者ごとの結果は独立であり、事前に各群1,000人で評価する計画を立てていたものとします。結果は次のようになりました。
| ボタン | クリックした人数 | クリックしなかった人数 | 合計 | クリック率 |
|---|---|---|---|---|
| A | 50人 | 950人 | 1,000人 | 5.0% |
| B | 70人 | 930人 | 1,000人 | 7.0% |
観測されたクリック率の差は2ポイントです。Aを基準にした相対的な増加率では40%となりますが、これらは同じ変化を異なる基準で表した数値です。
この表にPearsonのカイ二乗検定を連続性補正なしで適用すると、検定統計量は約3.546、自由度は1、p値は約0.0597になります。事前に有意水準を5%と設定していた場合、帰無仮説は棄却できません。
したがって、「今回の検定では、クリック率に統計的に有意な差があるとは言えない」と判断します。ただし、両者が同じだと証明されたわけでも、新しいボタンに効果がないと確定したわけでもありません。
p値だけで、変更するかどうかを決めない
ボタンを変更する判断では、観測された差や推定の不確実性に加え、変更費用や購入率への影響も確認します。クリック数が増えても、その後の購入が減るなら、目的に合わない可能性があります。
有意水準をわずかに上回ったからといって、結果を見た後に基準を10%へ変更し、当初から有意だったように扱ってはいけません。何を事前に決め、何を結果を見てから考えたのかを区別して記録しましょう。
6.追加検証は、有意差が出るまで続けない
結果がはっきりしないと、データを少しずつ追加して、何度も検定したくなるかもしれません。しかし、有意差が出た時点で終える方法では、当初想定した誤判定の確率を保てなくなることがあります。
検証を始める前に、評価指標、必要な人数、終了条件、分析方法を決めておきましょう。必要な人数は、見つけたい差の大きさや、想定するクリック率などによって変わります。
追加の実験を行う場合は、前の結果を踏まえて新たな計画を立てます。途中経過を見ながら判断する必要がある場合には、それに対応した逐次的な分析方法や停止ルールを用意してください。
また、結果を見てから都合のよい対象者だけを選んだり、評価指標を次々に変えたりすると、見かけ上の成果を拾いやすくなります。探索的に見つけた傾向は、別のデータで確かめる候補として扱うことが大切です。
7.日常の判断で気をつけたい思い込み
確率やデータを使っていても、前提の置き方に思い込みが入り込むことがあります。計算結果だけでなく、どの情報を集め、何を見落としているかも確認しましょう。
例えば、公平なコインを独立に投げる場合、裏が5回続いたからといって、次に表が出る確率が高くなるわけではありません。公平さと独立性という条件の下では、次の表の確率も2分の1です。
一方、仕事の成果や利用者の行動では、同じ条件が続くとは限りません。過去の結果から判断する際は、独立性や環境の変化を確認し、コインの例をそのまま当てはめないようにしてください。
成功者の事例だけを集めることにも注意が必要です。同じ方法を試してうまくいかなかった人が含まれていなければ、その方法の成功率や効果を適切に評価できません。
8.判断の前提と、見直す条件を残す
意思決定では、結果が出る前に、その時点で分かっていることと分からないことを整理します。次の項目を記録しておくと、結果を見た後に判断を振り返りやすくなります。
| 記録する内容 | 書き出すこと |
|---|---|
| 目的と選択肢 | 何を改善し、どの方法を比較するか |
| 見積もりの根拠 | 確率や利益を、どのデータ・仮定から求めたか |
| リスク | 起こり得る損失と、許容できる範囲 |
| 検証計画 | 評価指標、人数、期間、分析方法、終了条件 |
| 判断の理由 | 数値と制約を踏まえ、なぜその選択をしたか |
| 見直す条件 | どのような情報が得られたら判断を変更するか |
良い結果が出たことだけで、判断の過程まで正しかったとは限りません。同様に、十分に検討した選択でも、不確実性によって望まない結果になることがあります。
確率や統計は、未来を保証するための道具ではなく、判断の根拠と限界を明らかにするための道具です。期待値、損失、不確実性を分けて整理し、新しい情報に応じて判断を見直していきましょう。
Learning Tools
記事を検索したい方はここから!
記事を検索
関連記事や、今の内容に近いテーマをすぐに検索できます。
例: AI / 情報Ⅰ / Python / 統計 / 資格 / 学習法