ストリーミング（逐次出力）

ストリーミング（逐次出力）って何？

ChatGPTと話していて、答えが一行ずつ「ぽんぽん」と出てくるのに気づいたことはありませんか。長い時間待たされて、どんとまとめて返されるわけではなく。それがストリーミングです。モデルが生成しながらリアルタイムで結果を届ける——見えるのは「完成品」ではなく「進行中」の答えです。

どうやって動く？

まとまった文を一粒ずつ送る
生成はトークン単位です。通常モードは一段分をためてから返しますが、ストリーミングは1トークンできるたびに即座に送り、フロント側が順に表示します。
「チャンク転送」が支える
技術的にはSSE（Server-Sent Events）やHTTPストリーミングで、データを小さく切って継続的に配信し、ブラウザやアプリが少しずつ描画します。

何を解決する？

「待たされる」不安を消す
長い回答は数十秒かかることも。一括返却は、くるくる回るアイコンを眺めるようなもの。ストリーミングなら文字がすぐ動き、体感の遅延が大きく下がります。
「会話」らしくなる
一文字ずつ浮かび上がる体験は、人がタイピングしているのに近い。AIが「考えている」ように見え、「固まった」ようには見えません。
途中でやめられる
的外れだと感じたら、すぐ中断できます。一段分を待つ必要がなく、時間もトークンも節約できます。

注意点は？

ストリーミングは「計算が速くなる」のではなく「早く見せてくれる」だけ。総計算時間は変わりませんが、待つ感覚を最小にします。チャット、コード補完、長文生成のような「出てくるのを見ながら」の場面では標準装備です。

まとめ：ストリーミングは「作りながら見せる」。AIの答えを、人が打つように一文字ずつ浮かび上がらせます。