量子化

量子化って何？

モデルのパラメータは、ふつう32ビットや16ビットの浮動小数点数で保存されています。高精度ですが、場所を食います。量子化は、この高精度な数を8ビット、4ビット、それ以下の整数に圧縮する手法。高解像度の写真を小さなファイルに圧縮するようなもので、見た目の差はわずかでも、ファイルは数分の一になります。

なぜ役立つのか

メモリ節約
70億パラメータのモデルは、32ビットなら約28GB。4ビットなら約3.5GBで、普通のパソコンにも載ります。
高速化
整数演算は浮動小数点より速く、推論速度がはっきり上がります。
敷居を下げる
量子化のおかげで、大規模モデルはクラウドだけではなく、スマホやノートでも動きます。

モデルは「頭が悪く」なる？

精度は少し落ちますが、ふつうはごくわずか。良い手法は「代表値」を選んだり、重要な層は量子化しないで残し、損失を最小にします。実際、8ビットはほぼ無損失、4ビットも多くのタスクで許容範囲です。

主な手法

学習後量子化（PTQ）
訓練後にそのまま圧縮。手軽で速い。
量子化対応学習（QAT）
訓練中に量子化誤差をシミュレートしてモデルを慣らし、精度を高く保ちます。

何が開けるのか

量子化は「誰でも大規模モデルをローカルで動かす」を可能にし、GGUF・AWQ・GPTQといった形式の土台でもあります。大規模モデルを実験室から一人ひとりの端末へ運ぶ橋です。

まとめ：量子化はモデルを「スリム化」し、わずかな精度と引き換えに、メモリと速度を大きく稼ぐ技術です。