視覚言語モデル（VLM）

視覚言語モデル（VLM）って何？

かつてのAIは、文字を扱うモデルと画像を認識するモデルが別々でした。視覚言語モデル（VLM）はその二つを一つにします。画像を「見る」ことも、言葉で「話す」こともでき、両方の情報をつなげられます。写真を見せれば何が起きているかを説明し、図入りの問題を出せば、図を読んだ上で答えます。

普通の画像認識との違いは？

画像分類はラベルだけ
従来の視覚モデルは「これは猫です」とカテゴリを返すだけ。
VLMは会話し、推論できる
「猫は何をしているの」「なぜここに影があるの」に答えられ、画像の中の文字やグラフ、図まで読み取れます。

仕組みは？

画像を「画像の言葉」に変える
視覚エンコーダーが写真を数字の特徴列に変換します。いわば画像の「説明コード」です。
画像を言語モデルにつなぐ
そのコードをテキストと一緒に大規模モデルへ渡し、言葉と画像を同じ空間で揃える。それでモデルは見たものについて話し、推論できるようになります。

何に役立つか

「写真を撮れば料理名を教えてくれる」から「スクショを貼れば文章を書いてくれる」まで。さらに、目の不自由な人のために画像を説明するアクセシビリティ領域でも活躍します。VLMはAIの知覚を、文字だけから現実世界へ広げます。

まとめ：視覚言語モデルとは、言語モデルに「目」をつけ、画像を見てその中身を語れるようにすることです。