ストップトークン

ストップトークンって何？

大規模モデルが文章を書くとき、実はトークンを1つずつ「吐き出して」います。いつ終わるかを知る必要がある——でないと、蛇口を開けっぱなしにしたように書き続けてしまいます。ストップトークンは「ここで終わり」とモデルに伝える特別な印。モデルがこれを生成した瞬間、出力が止まります。

どんな見た目？

「言葉」ではなく「合図」
ストップトークンはふつう、<|endoftext|> や <eos> のような特殊な記号列です。ユーザーには見えませんが、モデルにとっては大事な合図です。
複数あってもよい
文末、改行、特定の形式など、複数の停止条件を設けるモデルもあり、出力の形を制御しやすくなります。

なぜ大事なのか

「長話」と無駄を防ぐ
ストップトークンがないと、モデルはいつまでも書き続け、トークンと時間を浪費します。
出力の境界を決める
コード補完、JSON生成、複数ターンの会話など、「どこまでで終わりか」を正確に制御したいタスクは多い。ストップトークンは見えない「ゴールライン」です。
API料金にも効く
早く正確に止まれば、推論コストを大きく節約でき、応答も速くなります。

どう使う？

APIを呼ぶときにstopパラメータを設定し、どの文字列で止めるかを指定します。カスタムの停止シーケンスを定義して、「答え終わった」瞬間にモデルを止めることもできます。ストップトークンを整えるのは、生成の質とコストを制御する実用的な基本です。

まとめ：ストップトークンはモデルの「ブレーキ」。どこまで話すかをモデルに教える印です。