カーネルメソッド: 基礎と応用

By Fouad Sabry

カーネル メソッドとは

機械学習の分野では、カーネル マシンはパターン分析のためのメソッドのクラスです。 サポート ベクター マシン (SVM とも呼ばれる) は、このグループの最もよく知られたメンバーです。 パターン分析では、カーネル アプローチとして知られる特定の種類のアルゴリズムが頻繁に使用されます。 これらの戦略には、非線形問題を解決するために線形分類器を利用することが必要です。 データセット内に存在するさまざまな種類の一般関係を見つけて研究することは、パターン分析の最も重要な目標です。 一方、カーネル メソッドでは、ユーザー指定のカーネルのみが必要です。カーネルは、内積を使用して計算されるデータ ポイントのすべてのペアにわたる類似度関数と考えることができます。 これは、これらのタスクを解決する多くのアルゴリズムとは対照的です。アルゴリズムでは、生の表現のデータを、ユーザー指定の特徴マップを介して特徴ベクトル表現に明示的に変換する必要があります。 Representer 定理によれば、カーネル マシンの特徴マップの次元数は無制限ですが、ユーザー入力として必要なのは、次元数が有限の行列だけです。 並列処理がないと、数千を超える個々のケースを含むデータ セットの場合、カーネル マシンでの計算が非常に遅くなります。

メリット

(I ) 以下のトピックに関する洞察と検証:

第 1 章: カーネル メソッド

第 2 章: サポート ベクター マシン

第 3 章: 放射基底関数

第 4 章: 正定値カーネル

第 5 章: 逐次最小最適化

第 6 章: サポート ベクター マシンの正則化の観点

第 7 章 : 表現者定理

第 8 章: 動径基底関数カーネル

第 9 章: カーネル パーセプトロン

第 10 章: 正則化最小二乗法

( II) カーネル メソッドに関する一般のよくある質問に答える。

(III) 多くの分野でのカーネル メソッドの使用例の実例。

(IV) 17 の付録で簡単に説明する 、カーネル メソッドのテクノロジを 360 度完全に理解できるよう、各業界の 266 の新興テクノロジを紹介します。

本書の対象者

専門家、大学生、学生 大学院生、愛好家、愛好家、あらゆる種類のカーネル メソッドに関する基本的な知識や情報を超えたいと考えている人。

 

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 23, 2023

Book preview

第1章:カーネル方式

サポートベクターマシンは、機械学習(SVM)のカーネルマシンとして知られるパターン分析技術のクラスの最もよく知られたメンバーです。パターン分析に使用されるアルゴリズムは、カーネルメソッドと呼ばれます。これらの手法は、非線形の問題に対処するために線形分類器に依存しています。データセット内の一般的なタイプの関係 (クラスター、ランク、主成分、相関、分類など) を見つけて分析することは、パターン分析の主な目的です。ユーザー指定のカーネル、または内積を使用して計算されたデータポイントのすべてのペアに対する類似度関数のみを必要とするカーネルメソッドとは対照的に、これらのタスクを解決する多くのアルゴリズムでは、生の表現のデータをユーザー指定の特徴マップを介して特徴ベクトル表現に明示的に変換する必要があります。表現者の定理によると、カーネルマシンの無限次元の特徴マップは、ユーザー入力からの有限次元行列のみを必要とします。並列処理を行わないと、カーネルマシンは数千サンプルを超えるデータセットの計算に時間がかかります。

カーネル関数を使用すると、データの座標を計算することなく、高次元の暗黙的な特徴空間で操作できるため、カーネルメソッドにその名前が付けられます。代わりに、特徴空間内のすべてのデータのペアは、それぞれの画像間の内積を計算することによって単純に計算されます。座標の明示的な計算は、多くの場合、このプロセスよりも計算コストが高くなります。「カーネルトリック」は、この戦略の名前です。ベクトル、テキスト、画像、グラフ、シーケンスデータ用のカーネル関数が追加されました。

カーネルパーセプトロン、サポートベクターマシン(SVM)、ガウスプロセス、主成分分析(PCA)、正準相関分析、リッジ回帰、スペクトルクラスタリング、線形適応フィルタなどは、カーネルで動作するアルゴリズムの例です。

カーネル手法の大部分は統計的に健全であり、固有問題または凸最適化に基づいています。典型的には、統計的学習理論は、それらの統計的特性を研究するために使用される(例えば、ラーデマッハー複雑性を使用する)。

カーネルメソッドは、固定され、入力の機能に対応する一連のパラメーターを学習せず、代わりに i -thトレーニング例 (\mathbf {x} _{i},y_{i}) を「記憶」し、対応する重みを学習するため、インスタンスベースの学習者と比較できます w_{i} 。

ラベルのない入力、すなわち練習セットに載っていない個人についての予測は、ラベルのない入力 k と各トレーニング入力 \mathbf {x'} との間のカーネルとして知られる類似度関数の適用によって扱われる \mathbf {x} _{i} 。

たとえば、類似性の加重和は、多くの場合、カーネル化されたバイナリ分類器によって計算されます。

{\hat {y}}=\operatorname {sgn} \sum _{i=1}^{n}w_{i}y_{i}k(\mathbf {x} _{i},\mathbf {x'} ) どこ

{\hat {y}}\in \{-1,+1\} は、隠された真のラベルが関心のある \mathbf {x'} ラベルのない入力に対するカーネル化されたバイナリ分類器の予測ラベル y です。 k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} は、入力の任意のペア間の類似性を測定するカーネル関数 \mathbf {x} ,\mathbf {x'} \in {\mathcal {X}} です。合計は、分類器のトレーニングセット内のn \{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n} 個のラベル付き例の範囲であり、 y_{i}\in \{-1,+1\} は w_{i}\in \mathbb {R} 、学習アルゴリズムが決定した内容に応じたトレーニング例の重みです。 符号関数は、 \operatorname {sgn} 予測された分類が {\hat {y}} 正または負のどちらになるかを決定します。

1960年代のカーネルパーセプトロンの開発により、カーネル分類器が最初に報告されました。1990年代にサポートベクターマシン(SVM)が人気を博し、手書き認識などのタスクでニューラルネットワークと競争力があることが証明されたとき、彼らは大きな悪評を得ました。

カーネルメソッドは、決定境界または非線形関数を認識するように線形学習アルゴリズムをトレーニングするために必要な明示的なマッピングを回避します。

すべての \mathbf {x} 入力 \mathbf {x'} 空間 {\mathcal {X}} に対して、特定の関数は k(\mathbf {x} ,\mathbf {x'} ) 別の空間の内積として表すことができます {\mathcal {V}} 。

この関数は、カーネル k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} またはカーネル関数と呼ばれることがよくあります。

数学では、「カーネル」という用語は、加重和または積分の重み付け関数を指します。

機械学習の特定の問題は、任意の重み付け関数よりも多くの構造を持っています k 。

カーネルがを満たす「機能マップ」の形式で記述できれば、計算ははるかに簡単になります \varphi \colon {\mathcal {X}}\to {\mathcal {V}} 。

k(\mathbf {x} ,\mathbf {x'} )=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle _{\mathcal {V}}.

重要な制限は、 \langle \cdot ,\cdot \rangle _{\mathcal {V}} 適切な内積でなければならないということです。

それとは対照的に、 は \varphi 内積空間である限り、 の明示的な表現 {\mathcal {V}} は必要ない。

代替案はマーサーの定理から続く:暗黙的に定義された関数は、関数が \varphi マーサーの条件を満たす {\mathcal {X}} ことを保証する適切な測度を空間が装備できる k ときはいつでも存在する。

内積を任意の正定値行列に割り当てる線形代数的発見の一般化は、マーサーの定理が似ているものです。

実際、この例を使用することで、マーサーの状況を単純化することができます。

集合内の点の数を数える \mu (T)=|T| すべてのカウント T\subset X 測度を測度として選択すると、 T マーサーの定理の積分は合計になります。

\sum _{i=1}^{n}\sum _{j=1}^{n}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}\geq 0.

この合計が、点のすべての有限列と (\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n}) 実数値係数 {\mathcal {X}} のすべての選択 n に対して成り立つ場合 (c_{1},\dots ,c_{n}) (cf.

(陽性の明確な核)、関数は k マーサーの条件を満たします。

ネイティブ空間の任意の関係に依存するいくつかのアルゴリズム {\mathcal {X}} は、実際には、異なる設定、つまり の範囲空間で線形解釈を持ちます \varphi 。

線形解釈からアルゴリズムについてさらに学びます。

さらに、 \varphi 多くの場合、サポートベクターマシンの動作と同様に、計算中に直接計算する必要はありません。

主な利点は実行時間の短縮であると主張する人もいます。

さらに、研究者は現在のアルゴリズムの目的と特性を守るためにそれを利用しています。

理論的には、 \mathbf {K} \in \mathbb {R} ^{n\times n} に関する \{\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n}\} グラム行列(「カーネル行列」とも呼ばれる)は、 {\displaystyle K_{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})} が定値かつ正(PSD)でなければならない。

経験的には、機械学習におけるヒューリスティックでは、マーサーの条件を満たさない関数の選択は、 k 少なくとも類似性の直感的なアイデアに近似 k すれば、依然として合理的に機能する可能性があります。