LLM

LLM とは？

究極の「次の単語を当てる」ゲームだと思ってください。LLM（大規模言語モデル）は、本質的には巨大な確率計算機です。これまでの人生で、とてつもない量の本、Webページ、コード、会話を読み込み、人間が単語をどのように並べるかを丸暗記してきました。あなたが前の文を与えると、学習した確率に従って、ひと文字ずつ次に来るであろう言葉を出力します。

でも、自分が何を言っているのかはまったく理解していません。「リンゴ」の味も、「失恋」のつらさも知りません。ただ、データの量が桁外れなので、この「しりとり」を驚くほど滑らかにこなし、あたかも理解して推論しているように見えるだけです。それは複雑な条件反射のようなもので、スマホの予測変換を何兆倍にも拡大したものにすぎません。

ここ数年で急に話せるようになったのは、文脈を記憶する仕組み（Transformerのアテンション）と、人間のフィードバックで方向を修正する手法（RLHF）のおかげです。しかし、常に正しいとは限りません。見たことがない質問や、訓練データに偏りがある場合、自信満々に聞こえのいい完全な嘘（ハルシネーション）をでっち上げます。

LLMを賢者のように扱ってはいけません。そうではなく、驚異的な記憶力と反応速度を持つけど、常識はゼロのインターンだと思ってください。とても便利ですが、必ず監視が必要です。