バッグ・オブ・ワーズ・モデル: 言葉の入った袋 で視覚的知性を解き放つ

By Fouad Sabry

バッグ オブ ワード モデルとは

コンピュータ ビジョンでは、バッグ オブ ビジュアル ワード モデルとも呼ばれるバッグ オブ ワード モデルを画像分類に適用できます。 または、画像の特徴を単語として扱うことによる検索。 文書分類では、バッグ オブ ワードは単語の出現数のスパース ベクトルです。 つまり、語彙全体のまばらなヒストグラムです。 コンピューター ビジョンでは、ビジュアル ワードのバッグは、ローカル画像特徴の語彙の出現数のベクトルです。

どのようなメリットがあるか

(I ) 以下のトピックに関する洞察と検証:

第 1 章: コンピューター ビジョンにおけるバッグオブワード モデル

第 2 章: 画像セグメンテーション

第 3 章 : スケール不変特徴変換

第 4 章: スケール空間

第 5 章: 自動画像アノテーション

第 6 章: 動きからの構造

第 7 章: サブピクセル解像度

第 8 章: 平均シフト

第 9 章: 多関節体の姿勢推定

第 10 章: パーツベースのモデル

(II) バッグ オブ ワード モデルに関する一般のよくある質問に答える。

(III) 多くの分野でのバッグ オブ ワード モデルの使用例の実例。

この本の対象者

専門家、学部生、大学院生、愛好家、趣味人、あらゆる種類の 言葉の入った袋 モデルの基本的な知識や情報を超えたい人 .

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: May 13, 2024

Book preview

第 1 章: コンピューター ビジョンにおける Bag-of-words モデル

bag-of-words モデル (BoW モデル) は、bag-of-visual-words モデルとも呼ばれ、コンピューター ビジョンで使用される手法で、画像の特徴を単語として解釈して画像を分類および取得します。単語のバッグは、単語の出現回数の疎なベクトル、または語彙上の疎なヒストグラムであり、ドキュメントの分類に使用されます。コンピュータビジョンでは、「視覚的な単語の袋」は、出現回数のベクトルとして表される局所的な画像特徴の語彙です。

BoW モデルを使用すると、画像をドキュメントと同じ方法で表現できます。「単語」を含む画像も明確化が必要です。これを実現するには、機能検出、機能の説明、コードブック生成の 3 つの一般的な手順が使用されます。「独立特徴量に基づくヒストグラム表現」は、BoWモデルを特徴付ける1つの方法です。

各画像は、特徴検出に続く多数の近傍パッチによって抽象化されます。パッチを数値ベクトルとしてどのように表現するかは、特徴表現手法の焦点です。特徴記述子は、これらの数値ベクトルの名前です。適切な記述子は、明るさ、回転、スケール、およびアフィン変換の変動を考慮するのに十分な柔軟性を備えている必要があります。スケール不変特徴変換は、最もよく知られている識別子 (SIFT) の 1 つです。各パッチは、SIFTによって128次元のベクトルに変換されます。この時点では、画像内の個々のベクトルはすべて同じサイズ(SIFTの場合は128)であるため、順序は関係ありません。

最後に、BoWモデルは、ベクトルで表現されたパッチを「コードワード」(テキスト文書の単語のようなもの)に変換することによって「コードブック」を生成します(単語辞書に類似)。コードワードは、本質的にすべて同じパッチのグループを表すことができます。K-means クラスタリングは、すべてのベクトルに対して実行でき、すばやく簡単に解くことができます。これらの新しく学習したグループのハブは、コードワードになります。コードブックの容量は、クラスターの総数に等しくなります (単語辞書のサイズに相当)。

クラスタリング手順の結果として、各画像パッチは一意の符号語に関連付けられ、画像自体は符号語のヒストグラムで表すことができます。

コンピューター ビジョン研究コミュニティでは、オブジェクトの分類などの画像関連のタスクに BoW モデルを活用するために、いくつかの学習方法が開発されています。教師なしモデルと教師ありモデルは、これらの手法を大まかに分類したものです。複数のラベルが関係する問題の解を評価する場合、混同行列は便利なツールです。

このセグメントについては、付随する注記を参照してください。

codebook のサイズが V であるとします。

w : 各パッチ w は、1 つの成分が 1 に等しく、他のすべての成分が 0 に等しい V 次元ベクトルです (k-means クラスタリング設定の場合、1 に等しい 1 つの成分は属するクラスターを示します w )。

v コードブックの th コードワードは、 w^{v}=1 と w^{u}=0 で表すことができます u\neq v 。

\mathbf {w} :各画像は \mathbf {w} =[w_{1},w_{2},\cdots ,w_{N}] 、画像を構成するすべてのドットで表されます

d_{j} : j 画像コレクション内の 1 番目の画像

c :画像のカテゴリ

z : パッチのテーマまたはトピック

\pi :混合比率

NLPの対応物であるBoWモデルはアナロジーであるため、コンピュータビジョンは、もともとテキスト領域用に作成された生成モデルの恩恵を受けることができます。

単純な単純ベイズモデルと階層ベイズモデルについて説明します。

最も単純なのは単純ベイズ分類器です。

グラフィカルなモデル表記を利用して、単純ベイズ分類器は次の式で記述されます。

各分類は、このモデルのさまざまなコードブックにまたがって独自の分布を持ち、さまざまなグループの分布の間に明確な区別があると仮定します。

顔と自動車のカテゴリを考えてみましょう。

「鼻」のコードは顔の分類で強調され、「目」と「口」の両方が強調され、車輪と窓は自動車サブカテゴリのコードワードとして強調表示される場合があります。

トレーニング データのライブラリが提供されると、分類器は、カテゴリごとに新しい分布を生成するようにトレーニングされます。

分類の決定は、

c^{*}=\arg \max _{c}p(c|\mathbf {w} )=\arg \max _{c}p(c)p(\mathbf {w} |c)=\arg \max _{c}p(c)\prod _{n=1}^{N}p(w_{n}|c)

単純ベイズ分類器は単純でありながら効果的であるため、他のすべての比較が行われる際の標準です。

単純ベイズモデルの基本的な仮定は、時には成り立たないことがあります。

たとえば、自然環境の 1 枚の写真に複数の概念を描写できます。

関連する複数の「テーマ」の問題に取り組むテキスト領域の2つのよく知られたトピックモデルは、確率的潜在意味分析(pLSA)とトピックモデリングです。

例として、LDA について考えてみましょう。

自然シーンのLDA画像モデリング、ドキュメントの研究との比較:

画像とドキュメントのカテゴリの間には対応関係があります。トピックのランダムサンプリングがテーマのランダムサンプリングにマッピングされるのと似ています。索引のトピックは、テーマ別索引のトピックに対応しています。秘密の言葉は単語に相当します。

13種類の自然シーンで、この方法は非常に効果的であることが証明されています。

BoWモデルは画像表現に使用されているため、テキストドキュメントの分類は任意の識別モデルで試行できます。 カーネルに基づく分類子を使用している場合でも、カーネルのトリックであるSVMシステムを使用できます。

ピラミッドマッチカーネルは、BoWアルゴリズムの最先端の実装です。

機械学習分類器によって学習されたBoWモデル表現をさまざまなカーネル(決定木など)で使用することは、ローカル特徴量アプローチの一例であり、EMDカーネルと X^{2}