Mamba

Mambaって何？

Mambaは「選択的状態空間モデル（Selective State Space Model）」から生まれた新しい系列モデルです。その賢さは「選択性」にあります。トークンを読むとき、すべてを状態に詰め込むのではなく、何を覚え、何を捨てるかを自分で判断します。授業のノートを取る優等生のように、要点だけ書くから効率が良いのです。

「選択的」の何がすごいのか

内容が状態を決める
従来のSSMは更新ルールが固定。Mambaは入力内容に「何を覚えるか」を決めさせるので、記憶がより正確です。
長文で省エネ
不要なものを省くので、状態が無関係な情報で膨らみません。超長系列でも持ちこたえます。
線形の計算量
コストは長さに比例。数十万トークンもなんのそのです。

Transformerとの比較は？

効率
長系列ではMambaの方が速く省メモリ。リアルタイム推論や長文書に向きます。
精度
多くの系列タスクでTransformerと互角に渡り合い、長系列の一部では上回ります。
エコシステム
Transformerの方が成熟していますが、Mambaも急追中。両者を混ぜる使い方も増えています。

どこで使える？

長文書の要約、DNA配列解析、音声処理、コード生成……「系列が長く、リアルタイムが求められる」場面で、Mambaは有力な選択肢です。

まとめ：Mambaは「要点を押さえる優等生」。選択的な記憶で、超長系列を正確かつ省エネにこなします。