データサイエンスとは?ビッグデータ・AIとの違いと初心者の学習手順
「データサイエンスとAIは何が違うのか」「ビッグデータがなければ、データ分析はできないのか」。データ活用について調べ始めると、似た場面で使われる言葉の違いに迷うことがあります。まずは、それぞれが何を指しているかを整理しましょう。
データサイエンスは、統計・プログラミング・対象分野の知識などを組み合わせ、データから知見を得るための分野です。ビッグデータは扱うデータの規模や特性に関する概念であり、AIは予測や分類、生成などに利用できる技術です。この記事では、その関係と学び方を整理し、小さなデータをPythonで集計する例まで紹介します。
目次
1.データサイエンス・ビッグデータ・AIの違い
この3つは関連していますが、同じ意味ではありません。データを使って何を調べるのか、どのようなデータを扱うのか、どの技術を利用するのかという観点に分けると、関係を理解しやすくなります。
| 用語 | 何を指すか | 具体例 |
|---|---|---|
| データサイエンス | 統計・計算技術・対象分野の知識などを組み合わせ、データから知見を得る分野 | 購買データを調べ、需要の特徴や改善の手掛かりを整理する |
| ビッグデータ | 量・多様性・生成速度などの特性により、保存や処理の仕組みに工夫が求められる大規模なデータ | 多数の機器から継続的に届くセンサーデータや、大規模サービスの操作履歴 |
| AI(人工知能) | 入力から予測・推奨・生成などの出力を導く技術やシステム | 画像の分類、需要の予測、文章の生成 |
データサイエンスでは、データの意味も理解する
計算方法が正しくても、データの意味を取り違えると、解釈を誤ることがあります。例えば、売上の減少を調べるときは、営業時間、商品の欠品、価格変更など、その業務の事情も確認する必要があります。
教育のデータでも、同じ80点が同じ学力を表すとは限りません。問題の難易度や範囲、初見か解き直しかによって意味が変わります。計算結果と、記録された状況を結び付けて考えることが大切です。
ビッグデータは「必ずリアルタイム」という意味ではない
ビッグデータの特徴は、データ量、形式の多様性、生成・処理の速度などから説明されます。NISTの用語集でも、こうした特性と、効率よく保存・操作・分析するための拡張可能な仕組みを関連付けています。
ただし、すべてのビッグデータをリアルタイムに処理するわけではありません。過去に蓄積された大量の画像や文書をまとめて分析する場合もあります。「何行以上ならビッグデータ」と行数だけで区切るより、データの特性と必要な処理から考えましょう。
AIを使わないデータ分析もある
売上を月別に集計する、アンケートの回答割合を調べる、学習時間の分布を見るといった分析は、AIを使わずに行えます。小さな表でも、対象や計算条件を確認すれば、判断に役立つ情報を得られる場合があります。
一方、AIはデータ分析だけに使われるものでもありません。文章や画像の生成などにも利用されます。「データサイエンスの作業すべてをAIが行う」と考えず、どの工程に何を使うかを分けて整理してください。
2.AI・機械学習・深層学習の関係を整理する
AIに関連する技術として、機械学習や深層学習という言葉も登場します。機械学習は、データからパターンを学び、予測や分類などに利用する方法です。深層学習は、複数の層を持つニューラルネットワークを用いる機械学習の一分野です。
生成AIは、文章や画像などのコンテンツを生成するAIを指します。現在の代表的な生成AIには深層学習が使われていますが、機械学習の目的がすべて文章や画像の生成になるわけではありません。
| 行いたい処理 | 例 | 確認すること |
|---|---|---|
| 集計する | 商品ごとの売上を合計する | 対象期間や重複の扱いが正しいか |
| 数値を予測する | 過去の記録から翌月の需要を予測する | 別の期間でも予測が役立つか |
| 分類する | 問い合わせを内容別に分ける | 分類の誤りや判断できないケースをどう扱うか |
| 生成する | 分析結果を説明する文章の下書きを作る | 数値や説明が元データと一致しているか |
どの技術を使う場合も、まず求める結果を明確にします。単純な集計で答えられる問いなら、その結果を確認するところから始めましょう。予測や自動分類が必要になった段階で、機械学習を検討できます。
3.初心者が最初に身につけたい3つの基礎
データの定義を確認する力
表を受け取ったら、1行が何を表しているかを確認しましょう。1人なのか、1回の購入なのか、1日分の記録なのかによって、件数や平均値の意味は変わります。
列についても、項目名だけで判断せず、単位や記録方法を確認します。空欄はゼロと同じとは限らず、日時も記録した時刻と実際に出来事が起きた時刻で異なる場合があります。
基本的な統計量とグラフを読む力
最初は、件数、合計、割合、平均値、中央値、ばらつきから学びましょう。計算式を覚えるだけでなく、「どの対象の、何を表している値なのか」を説明できることを目指します。
例えば、平均の学習時間が長くなっていても、一部の日だけ長時間取り組んでいた可能性があります。日ごとの記録や分布も確認すると、平均値だけでは見えなかった特徴を調べられます。
同じ手順で集計を再現する力
分析では、後から同じ条件で結果を確かめられることも大切です。元データを残し、除外した記録、変更した値、使った計算方法を記録しましょう。
最初は表計算ソフトでも構いません。処理を繰り返すようになったら、PythonやRで集計手順をコードにする方法があります。データベースから必要な情報を取り出す場合には、SQLも学習候補になります。
平均値と中央値の違いや、統計の結果をどう読むかを確認したい方へ。代表値と仮説検定の基本を具体例で整理しています。
データ分析の代表値と仮説検定|平均・中央値・p値の読み方を具体例で解説 記事を読む →4.Pythonで試す:欠損値を確認してから集計する
ここでは、5日分の学習時間を表す架空のデータを使います。目的は、記録のある日の学習時間を集計し、まだ確認できていない部分を明らかにすることです。この5日分だけで、学習効果や成績の変化を判断するものではありません。
| 日 | 学習時間 | 記録の状態 |
|---|---|---|
| 1日目 | 20分 | 記録あり |
| 2日目 | 30分 | 記録あり |
| 3日目 | 不明 | 未記録 |
| 4日目 | 10分 | 記録あり |
| 5日目 | 40分 | 記録あり |
pandasを使える環境を用意する
Pythonを利用できる環境で、次のコマンドを実行します。pandasは、表形式のデータや数値の集計に利用できるライブラリです。既存の開発環境がある場合は、学習用の仮想環境などを用意してから追加してください。
python -m pip install pandas
欠損の件数と、記録のある日の集計値を表示する
次のコードをstudy_summary.pyとして保存します。今回は外部のCSVファイルを必要とせず、コード内に説明用のデータを用意しています。Noneは、学習時間が記録されていないことを表します。
import pandas as pd
# 説明用の架空データ。単位は分。
minutes = pd.Series(
[20, 30, None, 10, 40],
dtype="float64",
)
# 元のデータは変更せず、記録のある値だけを取り出す。
recorded = minutes.dropna()
print(f"対象日数: {len(minutes)}日")
print(f"記録あり: {recorded.size}日")
print(f"未記録: {minutes.isna().sum()}日")
if recorded.empty:
print("集計できる記録がありません。")
else:
print(f"記録のある日の合計: {recorded.sum():.0f}分")
print(f"記録のある日の平均: {recorded.mean():.1f}分")
print(f"記録のある日の中央値: {recorded.median():.1f}分")
ファイルを保存した場所で、次のコマンドを実行します。pandasをインストールした環境と、コードを実行する環境が同じであることも確認してください。
python study_summary.py
実行すると、次の結果が表示されます。記録のある4日分の合計は100分で、その4日を対象にした平均は25分です。
対象日数: 5日
記録あり: 4日
未記録: 1日
記録のある日の合計: 100分
記録のある日の平均: 25.0分
記録のある日の中央値: 25.0分
「記録のある日の平均」と「5日間の平均」を区別する
この結果から、5日間全体の平均が25分だったとは断定できません。3日目の学習時間が不明だからです。「記録のある4日間では平均25分、1日分は未記録」と、対象と欠損を合わせて説明しましょう。
未記録をゼロとして埋めると、5日分の平均は20分になります。しかし、それは「3日目は勉強しなかった」という仮定を置いた結果です。平均値の25分で埋める場合も、実際に25分学習したと確認できたわけではありません。
欠損値の処理方法は、欠けた理由と分析の目的を確認してから選びます。今回のコードは、観測できた値を説明するために欠損を除いて集計しています。この方法が、あらゆる分析で偏りのない結果を保証するわけではありません。
PythonとRのどちらから学ぶか迷っている方へ。目的や学習環境に合わせた選び方と、同じデータを集計する例を紹介しています。
データ分析はPythonとRどちらから学ぶ?選び方と同じデータで試す入門例 記事を読む →5.機械学習へ進むときに確認すること
学習に使ったデータだけで性能を判断しない
機械学習では、モデルを作るためのデータと、その性能を確認するためのデータを分けます。学習したデータではよく当たっても、新しいデータではうまく予測できない場合があるためです。
また、同じ人の記録が繰り返し含まれる場合や、時間順に予測する場合は、単純に行をランダムに分けるだけでは目的に合わないことがあります。実際にどのような対象を予測するのかに合わせて、データの分け方を考えましょう。
前処理にも「データ漏洩」が起こる
予測時点で使えない情報がモデル作成に入り込むことを、データ漏洩といいます。例えば、学習用と評価用のデータ全体から平均値を計算して欠損を埋めると、評価用データの情報が前処理に混ざります。
モデル評価を行う場合は、先にデータを分け、補完に使う平均値などを学習用データから求めます。そのうえで、同じ処理を評価用データに適用します。scikit-learnの公式資料でも、こうした前処理を通じた情報の混入に注意を促しています。
単純な方法と比較する
複雑なモデルを作ったら、「前回と同じ値を予測する」「学習用データの平均値を使う」など、目的に合う単純な方法とも比較しましょう。複雑にした分だけ、実際に役立つ改善があるかを確かめます。
誤差の平均だけでなく、どの場面で外れやすいかも確認してください。大きな予測ミスが起きた場合の影響まで考えると、そのモデルを業務に使えるか判断しやすくなります。
6.初心者向けの学習手順
最初から数学、プログラミング、機械学習をすべて学び終える必要はありません。小さな課題に取り組み、使う計算や処理の意味をその都度確認する進め方があります。次の表を、学習順序を考える際の目安にしてください。
| 段階 | 取り組むこと | 確認したい状態 |
|---|---|---|
| 1.表を読む | 行・列の意味、単位、対象期間、欠損を確認する | 何を記録したデータか説明できる |
| 2.集計する | 件数、合計、割合、平均、中央値を求める | 計算対象と結果の意味を説明できる |
| 3.可視化する | 棒グラフ、折れ線グラフ、ヒストグラム、散布図を使う | 調べたい内容に合うグラフを選べる |
| 4.手順を再現する | PythonやRで読み込み・加工・集計を行う | 同じ条件で集計をやり直せる |
| 5.推定や予測を学ぶ | 確率、統計的推測、回帰や分類の基礎を学ぶ | 手法の前提と評価方法を説明できる |
| 6.結果を報告する | 分かったこと、限界、次に調べることをまとめる | 数値を過大に解釈せず、判断材料として共有できる |
数学は、扱う内容に合わせて学び直す
入門では、割合、関数、平均や分散、確率などから確認するとよいでしょう。機械学習の仕組みを深く理解する段階では、微分や、ベクトル・行列を扱う線形代数なども必要になります。
必要な数学の深さは、取り組む仕事や研究によって異なります。すべてを「高校数学だけで十分」と一括りにせず、使っている手法を理解するために何が必要かを確認してください。
最初の成果物は、短い分析レポートにする
最初の課題では、高度なAIモデルを作ることより、一つの問いに対して結果を説明できることを目標にしてみましょう。今回の学習時間の例なら、次のようにまとめられます。
- 調べたいこと:記録のある日の学習時間はどの程度か。
- 確認した結果:5日中4日に記録があり、その4日の合計は100分、平均は25分だった。
- まだ分からないこと:未記録の1日の学習時間と、5日間全体の平均。
- 次に行うこと:記録漏れを確認し、学習内容や確認問題の結果も合わせて記録する。
学習時間の長さだけで、理解度や成績の伸びを判断することはできません。時間の記録は取り組み方を振り返る材料として使い、何ができるようになったかは、問題への解答などで別に確認しましょう。
集計した数値を、改善の判断へつなげたい方へ。比較条件の確認から、原因の仮説と対策の検証までの流れを解説しています。
データ分析の進め方|数値の比較から原因の仮説・改善策の検証まで 記事を読む →7.データサイエンス入門でよくある質問
ビッグデータが手元になくても学べますか?
学べます。数件の架空データでも、平均値や欠損値の扱いを確認できます。基本操作に慣れたら、公開データなどへ対象を広げ、データの説明資料と利用条件を確認しながら取り組みましょう。
プログラミングを先に学ぶべきですか?
表計算ソフトを使い、表の読み取りや基本的な集計から始める方法もあります。繰り返し処理や複雑な加工が必要になったら、PythonやRを取り入れるとよいでしょう。操作方法と、計算結果の意味を並行して学ぶことが大切です。
データが多いほど、分析は正確になりますか?
件数を増やしても、対象の偏りや計測ミスが自動で解消されるわけではありません。例えば、特定の利用者だけの記録を大量に集めても、それだけで全利用者の特徴を説明できるとは限りません。量に加えて、どのように集めたデータかを確認してください。
生成AIにデータを渡せば、分析を任せられますか?
集計方法の提案やコードの下書き、結果の説明を考える補助には使えます。ただし、計算や解釈が正しいとは限らないため、元データとの照合が必要です。外部サービスを使う場合は、入力してよい情報か、所属組織のルールや利用条件も確認しましょう。
8.小さなデータを、自分の言葉で説明するところから始める
データサイエンスでは、計算やAIの操作に加えて、データの意味と結果の限界を理解することが大切です。ビッグデータや高度なモデルを用意する前に、小さな表で「対象を確認する、集計する、結果を説明する」という流れを試してみましょう。
まずは一つの問いを決め、対象件数、欠損、計算条件を記録してください。そのうえで、分かったことと、まだ分からないことを書き分ける練習が、より複雑な分析へ進むための土台になります。
参考資料
- NIST:data science ― データサイエンスの定義。
- NIST:Big Data ― ビッグデータの特性と処理基盤に関する定義。
- OECD:AIシステムの定義に関する説明資料 ― AIシステムの範囲と特徴。
- pandas:Working with missing data ― 欠損値の確認と処理。
- scikit-learn:Common pitfalls and recommended practices ― 前処理の一貫性とデータ漏洩への注意点。
Learning Tools
記事を検索したい方はここから!
記事を検索
関連記事や、今の内容に近いテーマをすぐに検索できます。
例: AI / 情報Ⅰ / Python / 統計 / 資格 / 学習法