これまでのベクトル空間では，「足し算」と「スカラー倍」しかできませんでした．「長さ」も「角度」も定義されていなかったのです．

内積は，ベクトル空間に幾何学を導入する道具です．

1 内積の定義

${\mathbb{R}}^n$の標準内積$⟨\mathbf{u},\mathbf{v}⟩=\sum u_i{v}_i$は最も身近な例ですが，これだけではありません．

2 長さと角度

内積があれば，長さ（ノルム）と角度が定義できます：

特に$⟨\mathbf{u},\mathbf{v}⟩=0$のとき$\theta =90°$で，$\mathbf{u}$と$\mathbf{v}$は直交しているといいます．

この不等式が$\cos \theta$の定義に意味を持たせています（$|\cos \theta |\le 1$を保証）．

3 Gram-Schmidt の正規直交化

与えられた基底から正規直交基底を作る手続きが Gram-Schmidt の正規直交化法です．

各ステップで行っているのは「すでに決めた方向への成分を除去する」ことです．結果として互いに直交するベクトルが得られます．

4 直交射影 — 最も近い点を見つける

内積空間の最大の応用の一つが直交射影です．

部分空間$W$に対して，点$\mathbf{v}$から$W$への直交射影$\hat{\mathbf{v}}$は「$W$の中で$\mathbf{v}$に最も近い点」です．

このとき$\mathbf{v}-\hat{\mathbf{v}}$は$W$に直交します．

5 最小二乗法

実験データ$(x_1,y_1),\dots ,(x_m,y_m)$に直線$y=a+bx$を当てはめたいとき，一般に全データを通る直線はありません（$m>2$なら連立方程式は過剰決定系）．

これを$A\mathbf{x}=\mathbf{b}$と書くと，$\mathbf{b}$は$A$の列空間に入らないかもしれません．最小二乗法は「$\mathbf{b}$を列空間に射影した$\hat{\mathbf{b}}$に対して$A\mathbf{x}=\hat{\mathbf{b}}$を解く」ことです．

6 フーリエ級数への扉

関数空間$C[-\pi ,\pi ]$に内積$⟨f,g⟩={\int }_{-\pi }^{\pi }f(x)g(x)dx$を入れると，$\{1,\cos x,\sin x,\cos 2x,\sin 2x,\dots \}$は（正規化すれば）正規直交系になります．

関数$f$を三角関数に「射影」することがフーリエ展開です：

$a_n=\frac{1}{\pi }{\int }_{-\pi }^{\pi }f(x)\cos nxdx$は内積$⟨f,\cos nx⟩$そのものです．つまりフーリエ級数は，無限次元内積空間における直交射影にほかなりません．

7 まとめ

内積は，ベクトル空間に「長さ」と「角度」を持ち込み，直交性・射影・最小二乗法といった強力な道具を使えるようにします．有限次元の最小二乗法も，無限次元のフーリエ展開も，内積空間の直交射影という同一の原理で統一的に理解できるのです．