この用語をシェア
概要
数理統計（すうりとうけい、Statistics）とは、データに含まれる情報を数学的手法により体系的に抽出し、不確実性を定量化するための理論と技術の体系です。データから母集団の性質を推測する「推測統計」と、データそのものを要約する「記述統計」に大きく分けられます。
AIエンジニアにとって数理統計が重要な理由は、機械学習モデルの評価・改善のあらゆる場面で統計の考え方が使われるためです。精度・再現率・F1スコアといった評価指標、過学習を検出するための交差検証、A/Bテストによるモデル改善効果の検証、生成モデルの基礎となる確率分布の理解など、モデルを「作って終わり」にせず、正しく評価し改善し続けるために欠かせない知識です。
仕組み・技術的な詳細
確率分布
確率分布は、ある事象がどのくらいの確率で起こるかを表す関数です。コイントスのような二値事象を表すベルヌーイ分布、自然界や測定誤差に多く見られる正規分布（ガウス分布）、カテゴリ分類に使われる多項分布などがあり、機械学習のモデル設計や損失関数の背後には、必ず何らかの確率分布の仮定が存在します。
最尤推定とベイズ推定
観測されたデータが最も起こりやすくなるようにパラメータを求める手法を最尤推定（さいゆうすいてい）と呼び、多くの機械学習モデルの学習はこの最尤推定の枠組みで定式化できます。一方、事前知識（事前分布）を取り入れて、データを観測した後の確率（事後分布）を更新していく考え方がベイズ推定で、ベイズの定理を基礎とします。生成AIの一部や不確実性の定量化にはベイズ的な考え方が使われます。
仮説検定とp値
「新しいモデルは本当に旧モデルより優れているのか、それとも偶然の差なのか」を統計的に判断する手法が仮説検定です。t検定やカイ二乗検定などがあり、算出されるp値が小さいほど、観測された差が偶然では説明しにくいことを示します。信頼区間は、推定値がどの範囲に収まる可能性が高いかを表す指標で、A/Bテストの結果を解釈する際の基本ツールです。
評価指標と交差検証
分類モデルの性能は、正解率だけでなく適合率（Precision）、再現率（Recall）、F1スコアなど複数の指標で多面的に評価する必要があります。またデータを複数のグループに分けて学習・検証を繰り返す交差検証（Cross Validation）は、モデルが未知のデータに対してどの程度汎化できるかを見積もるための標準的な手法です。
具体例
正規分布の考え方
f(x) = 1 / (σ√2π) × exp( -(x-μ)2 / 2σ2 )
この式は複雑に見えますが、要点は「平均μ（ミュー）を中心に、標準偏差σ（シグマ）の幅でデータがどれくらい散らばっているか」を表す釣鐘型の曲線だということです。多くの自然現象やモデルの誤差は正規分布に近い形をとることが多く、機械学習の重み初期化や損失関数の設計にも頻繁に登場します。
Pythonでの統計処理例
from scipy import stats
import numpy as np
group_a = np.array([0.82, 0.85, 0.80, 0.83, 0.81]) # 旧モデルの精度
group_b = np.array([0.88, 0.90, 0.87, 0.89, 0.91]) # 新モデルの精度
t_stat, p_value = stats.ttest_ind(group_a, group_b)
print(f"p値: {p_value:.4f}") # p値が小さいほど有意な差がある可能性が高い実務での活用例
実務では、モデルのA/Bテストで新旧モデルの性能差が統計的に有意かどうかを判断したり、交差検証でモデルの汎化性能を見積もったり、ベイズ最適化でハイパーパラメータを効率的に探索したりする場面で、数理統計の知識が直接活かされます。
メリット・学習のポイント
- モデル評価の妥当性を判断できる: 見かけ上の精度向上が偶然かどうかを見極められる
- 実験設計の質が上がる: A/Bテストのサンプルサイズや検定方法を適切に選べる
- 生成モデルの理解が深まる: 拡散モデルやベイズ的手法の背景理論を理解できる
学習のポイントは、公式を覚えることよりも「なぜその検定を使うのか」という目的意識を持つことです。手元のデータをPythonのscipyやstatsmodelsで実際に検定してみることで、抽象的な概念が具体的な判断材料として身につきます。
類似用語・関連分野との違い
| 分野 | 扱う対象 | AIでの主な用途 |
|---|---|---|
| 数理統計 | 確率・データのばらつき | モデル評価、仮説検定、ベイズ推定 |
| 線形代数 | ベクトル・行列 | 重み行列の演算、次元削減 |
| 微積分 | 変化率・累積量 | 勾配降下法、確率密度関数の積分 |
| 機械学習 | データからのパターン学習 | 数理統計・線形代数・微積分を統合した応用分野 |
実務での活用シーン・学習ロードマップ
活用シーン
- A/Bテスト設計: モデル改善の効果を科学的に検証
- モデル評価: 交差検証や評価指標の適切な選定
- 異常検知: 統計的な外れ値検出
学習ロードマップ
- 記述統計: 平均・分散・標準偏差の理解
- 確率分布: 正規分布・ベルヌーイ分布などの基本分布を学ぶ
- 推測統計: 仮説検定・信頼区間・p値の意味を理解する
- ベイズ統計: ベイズの定理と事後分布の更新を学ぶ
- 実装: Pythonのscipy・statsmodelsで検定を実践する
よくある質問（FAQ）
Q. AIエンジニアになぜ統計学が必要ですか。
A. 統計学はAIモデルの評価・改善に不可欠です。精度・再現率・F1スコア等の評価指標、過学習の検出（交差検証）、仮説検定（A/Bテスト）、確率分布（ベイズ推定・生成モデルの基礎）など、AI開発のあらゆる場面で統計の知識が必要になります。
Q. 機械学習で特に重要な統計の概念は何ですか。
A. 最重要なのは、確率分布（正規分布・ベルヌーイ・多項式）、最尤推定、ベイズ定理・ベイズ更新、仮説検定（t検定・カイ二乗検定）、相関・共分散、中心極限定理、交差エントロピー損失（情報理論）です。
Q. A/Bテストの統計的手法はAIにどう関係しますか。
A. A/Bテストはモデルの改善効果を科学的に検証するために必須です。新旧モデルをランダムに振り分け、統計的有意差（p値・信頼区間）で改善を判断します。多変量テスト（A/B/Cテスト）やバンディット問題（探索・活用のトレードオフ）もMLエンジニアが知るべき統計手法です。
Q. 統計学と機械学習はどう違うのですか。
A. 統計学はデータの背後にある構造を数学的に説明・検証することに重きを置くのに対し、機械学習は予測精度を重視し、必ずしも解釈可能性を求めません。ただし両者は密接に関連しており、機械学習の多くの手法は統計学の理論を土台にしています。