内積が開く幾何の世界 ― 直交・射影・最小二乗法

ベクトル空間に「長さ」と「角度」を導入する内積の威力を実感します．Gram-Schmidtの手計算，直交射影，最小二乗法，フーリエ級数との繋がりを具体例で見ます．

2026年2月27日

これまでのベクトル空間では，「足し算」と「スカラー倍」しかできませんでした．「長さ」も「角度」も定義されていなかったのです．

内積は，ベクトル空間に幾何学を導入する道具です．

1 内積の定義

定義 1.

実ベクトル空間

V

上の内積とは，写像

⟨ \cdot, \cdot ⟩ : V \times V \to R

で次を満たすものをいいます：

$⟨ u, v ⟩ = ⟨ v, u ⟩$ （対称性）
$⟨ a u + b v, w ⟩ = a ⟨ u, w ⟩ + b ⟨ v, w ⟩$ （線形性）
$⟨ v, v ⟩ \geq 0$ ，等号は $v = 0$ のときのみ（正定値性）

$R^{n}$ の標準内積 $⟨ u, v ⟩ = \sum u_{i} v_{i}$ は最も身近な例ですが，これだけではありません．

例 2 (関数の内積).

C [0, 1]

（

[0, 1]

上の連続関数）に

⟨ f, g ⟩ = \int_{0}^{1} f (x) g (x) d x

と定めると，これも内積の公理を満たします．この内積から「関数の長さ」

∥ f ∥ = \int_{0}^{1} f (x)^{2} d x

が定まります．

2 長さと角度

内積があれば，長さ（ノルム）と角度が定義できます：

∥ v ∥ cos θ = ⟨ v, v ⟩ （長さ） = \frac{⟨ u , v ⟩}{∥ u ∥ \cdot ∥ v ∥} （角度）

特に $⟨ u, v ⟩ = 0$ のとき $θ = 90°$ で， $u$ と $v$ は直交しているといいます．

定理 3 (Cauchy-Schwarz の不等式).

∣ ⟨ u, v ⟩ ∣ \leq ∥ u ∥ \cdot ∥ v ∥

この不等式が $cos θ$ の定義に意味を持たせています（ $∣ cos θ ∣ \leq 1$ を保証）．

3 Gram-Schmidt の正規直交化

与えられた基底から正規直交基底を作る手続きが Gram-Schmidt の正規直交化法です．

例 4.

R^{3}

の基底

{v_{1}, v_{2}, v_{3}} = ⎩ ⎨ ⎧ 110, 101, 011 ⎭ ⎬ ⎫

を正規直交化します．

Step 1：

u_{1} = v_{1} = 110

，

e_{1} = \frac{u _{1}}{∥ u _{1} ∥} = \frac{1}{2} 110

．

Step 2：

v_{2}

から

e_{1}

方向の成分を引きます．

u_{2} = v_{2} - ⟨ v_{2}, e_{1} ⟩ e_{1} = 101 - \frac{1}{2} 110 = 1/2 - 1/2 1

e_{2} = \frac{u _{2}}{∥ u _{2} ∥} = \frac{1}{3/2} 1/2 - 1/2 1

．

Step 3：

v_{3}

から

e_{1}, e_{2}

方向の成分を引きます．

u_{3} = v_{3} - ⟨ v_{3}, e_{1} ⟩ e_{1} - ⟨ v_{3}, e_{2} ⟩ e_{2}

これで

{e_{1}, e_{2}, e_{3}}

は正規直交基底です．

各ステップで行っているのは「すでに決めた方向への成分を除去する」ことです．結果として互いに直交するベクトルが得られます．

4 直交射影 — 最も近い点を見つける

内積空間の最大の応用の一つが直交射影です．

部分空間 $W$ に対して，点 $v$ から $W$ への直交射影 $\hat{v}$ は「 $W$ の中で $v$ に最も近い点」です．

定理 5.

W

の正規直交基底を

{e_{1}, \dots, e_{k}}

とすると

\hat{v} = i = 1 \sum k ⟨ v, e_{i} ⟩ e_{i}

このとき $v - \hat{v}$ は $W$ に直交します．

5 最小二乗法

実験データ $(x_{1}, y_{1}), \dots, (x_{m}, y_{m})$ に直線 $y = a + b x$ を当てはめたいとき，一般に全データを通る直線はありません（ $m > 2$ なら連立方程式は過剰決定系）．

これを $A x = b$ と書くと， $b$ は $A$ の列空間に入らないかもしれません．最小二乗法は「 $b$ を列空間に射影した $\hat{b}$ に対して $A x = \hat{b}$ を解く」ことです．

定理 6 (正規方程式).

最小二乗解は

A^{T} A x = A^{T} b

を満たします．

例 7.

データ点

(0, 1), (1, 2), (2, 4)

に

y = a + b x

を当てはめます．

A = 111012, b = 124

正規方程式

A^{T} A \hat{x} = A^{T} b

を解くと

\overset{a}{^} = 2/3

，

\hat{b} = 3/2

となり，最良の近似直線は

y = 2/3 + (3/2) x

です．

6 フーリエ級数への扉

関数空間 $C [- π, π]$ に内積 $⟨ f, g ⟩ = \int_{- π}^{π} f (x) g (x) d x$ を入れると， ${1, cos x, sin x, cos 2 x, sin 2 x, \dots}$ は（正規化すれば）正規直交系になります．

関数 $f$ を三角関数に「射影」することがフーリエ展開です：

f (x) \approx \frac{a _{0}}{2} + n = 1 \sum N (a_{n} cos n x + b_{n} sin n x)

$a_{n} = \frac{1}{π} \int_{- π}^{π} f (x) cos n x d x$ は内積 $⟨ f, cos n x ⟩$ そのものです．つまりフーリエ級数は，無限次元内積空間における直交射影にほかなりません．

7 まとめ

内積は，ベクトル空間に「長さ」と「角度」を持ち込み，直交性・射影・最小二乗法といった強力な道具を使えるようにします．有限次元の最小二乗法も，無限次元のフーリエ展開も，内積空間の直交射影という同一の原理で統一的に理解できるのです．

線形代数代数学教科書の行間

Folio公式

数学の「教科書が書かない行間」をLaTeXで．Folio公式アカウントです．

0 フォロワー·105 記事

内積が開く幾何の世界 ― 直交・射影・最小二乗法

1 内積の定義

2 長さと角度

3 Gram-Schmidt の正規直交化

4 直交射影 — 最も近い点を見つける

5 最小二乗法

6 フーリエ級数への扉

7 まとめ

あなたの専門知識を世界に発信しよう

Folio公式の他の記事

Folio LaTeXの基本 ― 標準LaTeXとの違いと始め方

カタラン数はなぜどこにでも現れるのか ― 括弧列・二分木・格子経路の不思議な一致

漸化式と母関数 ― 数列を「関数」にすると何が見えるか

包除原理はなぜ「足して引いて」を繰り返すのか ― ベン図からメビウス関数へ