6.1 固定基底関数の限界（Limitations of Fixed Basis Functions）

出典: C. M. Bishop, H. Bishop, Deep Learning, Springer 2024, §6.1
日付: 2026-04-26

概要

線形モデルは、固定された非線形基底関数 \(\phi_j(\mathbf{x})\) の線形結合として、回帰・分類の多くの問題を表現できる。しかし、基底関数をデータとは独立に事前設計すると、入力次元の増加に対して必要な基底数が急増し、実用的でなくなる。本節では固定基底関数の限界を、次元の呪い、高次元空間の幾何、データ多様体、データ依存基底という流れで整理し、多層ニューラルネットワークへ進む動機を明確にする。

サブセクション一覧

サブセクション	タイトル	担当	記事
6.1.1	次元の呪い	（担当者名）	準備中
6.1.2	高次元空間	駒月柊平	詳細
6.1.3	データ多様体	駒月柊平	詳細
6.1.4	データ依存基底関数	（担当者名）	準備中

全体の流れ

まず、固定基底関数を使う線形モデルでは、入力次元 \(D\) の増加に伴って多項式係数やグリッドセル数が爆発することを確認する。次に、高次元空間では体積や確率質量が低次元の直感とは異なる場所に集中することを見て、単純な幾何的直感の危うさを理解する。そのうえで、実データは高次元空間全体ではなく低次元の多様体付近に存在するという見方を導入し、最後にデータから基底関数を学習する必要性へつなげる。

graph LR
    A["固定基底関数<br/>φj(x)"] --> B["次元の呪い<br/>係数数・セル数の爆発"]
    B --> C["高次元空間の幾何<br/>薄い殻への集中"]
    C --> D["データ多様体<br/>低い有効次元"]
    D --> E["データ依存基底<br/>学習される特徴"]
    E --> F["多層ネットワークへ"]

まとめ

節	テーマ	キーメッセージ
6.1.1	次元の呪い	固定基底を空間全体に配置すると、必要な係数・セル数が \(D\) に対して急増する
6.1.2	高次元空間	高次元では体積やガウス分布の確率質量が薄い殻に集中し、低次元の直感が通用しない
6.1.3	データ多様体	実データは高次元空間全体ではなく、低次元多様体付近に存在することが多い
6.1.4	データ依存基底関数	基底関数は事前固定ではなく、データとタスクに合わせて学習する必要がある

結論： 固定基底関数モデルは理論上は柔軟でも、高次元データでは空間全体を覆う設計が破綻しやすい。ニューラルネットワークの重要性は、基底関数をデータから学習し、データ多様体上の有用な方向へ表現を適応させられる点にある。

感想・議論

「次元が高いほど難しい」という話と、「高次元の方が線形分離しやすい」という話はどのように両立するか？
固定基底関数を完全に捨てるのではなく、アーキテクチャ設計としてどの程度の事前知識を入れるべきか？
データ多様体の次元や構造を、実際のデータセットからどう推定できるか？