正規化・標準化・正規分布の違いとは？信頼区間と予測区間まで具体例で解説
データ分析では、「正規化」「標準化」「正規分布」といった似た名前の用語が登場します。しかし、それぞれの役割は異なり、順番に処理すれば自動的に正しい分析ができるわけではありません。
また、推定結果を示す「信頼区間」と、将来の観測値を扱う「予測区間」も区別が必要です。この記事では、これらの違いを具体例で整理し、分析の目的に合わせて使うための基本を説明します。
目次
１．まず、それぞれの役割を整理する
データの尺度をそろえること、分布の形を考えること、推定の不確実性を示すことは、別の作業です。用語を覚えるときは、何のために使うのかを一緒に確認しましょう。
この記事では「正規化」を、最小値と最大値を使うMin-Maxスケーリングの意味で扱います。分野やツールによっては別の処理を指すため、実際に使う計算方法を確認してください。
| 用語 | 主な役割 |
|---|---|
| 正規化（Min-Maxスケーリング） | 基準データの最小値・最大値を使い、値の尺度を変える |
| 標準化 | 平均と標準偏差を使い、中心と尺度をそろえる |
| 正規分布 | 左右対称の釣り鐘型をした確率分布 |
| 信頼区間 | 母平均など、母集団の特性の推定に伴う不確実性を示す |
| 予測区間 | 新しく観測される値の予測に伴う不確実性を示す |
例えば、機械学習で複数の特徴量の尺度をそろえたい場合と、商品の平均重量を推定したい場合では、必要な処理が異なります。最初に「何を知りたいか」を決めることが大切です。
２．正規化は、最小値と最大値を基準に変換する
Min-Maxスケーリングでは、元の値から基準データの最小値を引き、最大値と最小値の差で割ります。基準データの最小値が０、最大値が１になる変換です。
元の値をx、基準データの最小値をa、最大値をbとすると、次のように表せます。ただし、最大値と最小値が異なる場合に限ります。
$$
u=\frac{x-a}{b-a}
$$
例えば、最小値が20、最大値が100のデータでは、60は「（60−20）÷（100−20）＝0.5」に変換されます。値の大小関係を保ちながら、尺度を変えられます。
ただし、これは分布の形を正規分布に変える処理ではありません。また、極端な最大値があると、ほかの値が狭い範囲に集まることがあります。
新しいデータが０〜１に収まるとは限らない
最小値20、最大値100を基準にした変換へ、新しい値120を入れると、結果は1.25になります。０〜１に収まるのは、その基準範囲内にある値です。
機械学習では、学習時に決めた基準を検証用・予測用のデータにも適用します。新しいデータを受け取るたびに最小値・最大値を計算し直すと、学習時と尺度が変わってしまいます。
３．標準化は、平均からの距離を標準偏差で表す
標準化では、各値から基準データの平均を引き、標準偏差で割ります。平均からどの程度離れているかを、標準偏差を単位として表す方法です。
元の値をx、基準データの平均をm、標準偏差をsとすると、次の式になります。ただし、標準偏差が０の場合は、この式では計算できません。
$$
z=\frac{x-m}{s}
$$
例えば、平均60点、標準偏差10点のテストで80点を取った場合、標準化した値は２です。これは、平均より標準偏差２個分だけ高い位置にあることを示します。
標準化を行うと、基準データの平均は０になり、同じ定義で計算した標準偏差は１になります。ただし、尺度をそろえても、異なる指標の意味や重要性まで同じになるわけではありません。
標準化しても、正規分布にはならない
標準化は、値から一定の数を引き、一定の正の数で割る変換です。横軸の中心と尺度は変わりますが、分布の歪みや山の数は変わりません。
右に長い裾を持つデータを標準化しても、その特徴は残ります。平均０・標準偏差１であることと、標準正規分布に従うことは別です。
外れ値の影響も、自動的にはなくならない
標準化に使う平均や標準偏差は、極端な値の影響を受けます。そのため、「外れ値の影響を弱めたいから標準化する」と一律に考えるのは適切ではありません。
外れ値が入力ミスなのか、実際に起きた出来事なのかを確認しましょう。目的によっては、中央値や四分位範囲を使う尺度変換なども候補になりますが、理由を確認せずに値を削除することは避けてください。
４．正規分布は、データを表す確率モデルの１つ
正規分布は、平均を中心に左右対称となる釣り鐘型の確率分布です。平均が中心の位置を、標準偏差が広がりを決めます。
正規分布に従う確率変数では、平均から標準偏差何個分の範囲を見るかによって、次の確率が得られます。
| 範囲 | その範囲に入る確率 |
|---|---|
| 平均±標準偏差１個分 | 約68.3％ |
| 平均±標準偏差２個分 | 約95.4％ |
| 平均±標準偏差３個分 | 約99.7％ |
これは正規分布というモデルの性質です。実際に集めた少数のデータで、必ずこの割合になるわけではなく、正規分布に従わないデータへそのまま使うこともできません。
また、平均から大きく離れていることだけで、入力ミスと判断してはいけません。モデルが適切か、測定条件が変わっていないか、その値が生じた背景は何かを確認する必要があります。
分布を確認する際の注意点
ヒストグラムやQ-Qプロットは、分布の特徴を確認する手段になります。ただし、図の形や正規性検定の結果だけで、正規分布に従うことが証明されるわけではありません。
分析方法によって、正規性を考える対象も異なります。例えば回帰分析では、説明変数そのものが正規分布であることより、誤差にどのような仮定を置いているかが重要になる場合があります。
５．信頼区間は、母平均などを推定するための範囲
限られたデータから母平均を推定すると、抽出する標本によって推定値が変わります。信頼区間は、そのような標本変動を考慮して、推定を幅で示す方法です。
頻度論的な95％信頼区間は、前提条件の下で同じ抽出・計算手順を繰り返したとき、作られる区間が真の値を含む割合が長期的に95％になる、という性質を持ちます。
「100回計算すれば必ず95回含む」という意味ではありません。また、計算後の特定の区間について、固定された真の値が95％の確率で入っていると、そのまま解釈するものでもありません。
母標準偏差が分かっている場合の計算例
説明用に、作業時間が正規分布に従い、母標準偏差が10分と分かっている状況を仮定します。この母集団から独立に100件を無作為抽出し、標本平均が50分だったとします。
この条件では、母平均の95％信頼区間は、標本平均に「約1.96×母標準偏差÷標本数の平方根」を加減して求められます。
$$
50\pm1.96\times\frac{10}{\sqrt{100}}
$$
計算すると、区間は約48.04分〜51.96分です。これは母平均の推定区間であり、個々の作業時間の95％がこの範囲に入るという意味ではありません。
式の中の「10÷√100＝１分」は、標本平均の標準誤差です。個々の作業時間の散らばりを表す母標準偏差10分とは、役割が異なります。
母標準偏差が分からない場合は？
実際の分析では、母標準偏差が分からず、標本から推定することが一般的です。正規母集団からの独立な無作為標本で母平均を推定する場合は、標本の標準偏差とt分布を使う方法があります。
このとき、先ほどの1.96を常にそのまま使うわけではありません。標本数や分析の前提に応じた計算方法を選び、用いた方法を結果と一緒に記載しましょう。
６．予測区間は、新しい観測値を対象にする
母平均を知りたい場合と、次の１件でどのような値が出るかを知りたい場合では、考慮する不確実性が異なります。後者を扱うのが予測区間です。
例えば、平均的な作業時間を精度よく推定できても、次の作業が平均どおりに終わるとは限りません。個々の作業には、平均の推定誤差とは別のばらつきがあるためです。
| 知りたいこと | 考える区間 |
|---|---|
| 同じ条件での母平均の作業時間 | 母平均の信頼区間 |
| 同じ条件で新しく行う１件の作業時間 | 新しい観測値の予測区間 |
| ある広告条件での平均的な売上 | 平均応答の信頼区間 |
| その広告条件で次回観測される売上 | 新しい観測値の予測区間 |
通常の回帰モデルでは、同じ条件・同じ信頼水準で比べると、個別の観測値の予測区間は平均応答の信頼区間より広くなります。個別の値のばらつきも含める必要があるためです。
したがって、母平均の95％信頼区間を計算しただけで、「次回の売上がこの範囲に収まる」と説明することはできません。推定したい対象が平均なのか、次回の個別の値なのかを先に決めましょう。
７．分析は、目的に必要な処理を選んで進める
正規化・標準化・正規性の確認・信頼区間の計算を、すべての分析で順番に行う必要はありません。目的と分析方法に応じて、必要な処理を選びます。
例えば、元の単位で平均作業時間を報告したいだけなら、必ずしも標準化する必要はありません。一方、距離や正則化の影響を受ける機械学習モデルでは、特徴量の尺度をそろえることが重要になる場合があります。
| 確認する段階 | 主な確認事項 |
|---|---|
| 目的の設定 | 平均を推定するのか、個別の値を予測するのか |
| データの確認 | 対象、期間、単位、欠損、入力ミス、重複はどうなっているか |
| 分布の確認 | 歪み、複数の山、極端な値がないか |
| 方法の選択 | 尺度変換が必要か、分析の前提は妥当か |
| 結果の報告 | 推定対象、区間の種類、計算方法、限界を説明できるか |
データ数を増やすと、条件がそろっていれば、平均の推定精度は高まりやすくなります。ただし、対象者の偏りや測定方法の誤りが、件数を増やすだけで解消するわけではありません。
尺度をそろえる処理と、不確実性を評価する処理を区別しましょう。用語や公式を当てはめる前に「何を知りたいか」「どの条件で成り立つか」を確かめることが、分析結果を適切に読むための基本です。
Learning Tools
記事を検索したい方はここから！
記事を検索
関連記事や、今の内容に近いテーマをすぐに検索できます。
例: AI / 情報Ⅰ / Python / 統計 / 資格 / 学習法