サマリー記憶って何?
AIの文脈ウィンドウは狭く、会話が長くなると、最初のほうの発言は押し出されて消えてしまいます。サマリー記憶はシンプルです。ある程度進んだら、それまでの会話を短い要約に圧縮して保存し、以降は原文ではなく要約だけを持ち続けます。「全文記録」との違いは?
全文記録:何も失わないが、トークンを食う毎ターンをそのまま保存するのが一番忠実ですが、窓はすぐ満杯になり、コストも上がります。
サマリー記憶:要点だけ残して省スペース
結論・決定・重要な事実だけを残します。数百字の原文を数行に置き換え、空いた分をより大事な文脈に回します。
要約はどう作る?
モデル自身に書かせるよくあるのはLLMに任せる方法。会話の塊を渡し、「ユーザーの目的 / 済んだ手順 / やるべきこと」のような構造化された要約を出力させます。
階層で圧縮する
要約はさらに要約できます。要約が増えてきたら上位の要約にまとめ、ピラミッドのように層ごとに圧縮していきます。
利点と代償
利点:トークンが安く、長く覚えられるごく少ないコストで「経緯」を残せるので、複数ターンの会話でも「記憶喪失」になりにくくなります。
代償:細部は失われる
圧縮はどうしても劣化します。ユーザーが何気なく言った小さな好みが、要約に飲み込まれることも。重要な細部は別に保存しましょう。
まとめ:サマリー記憶とは、「圧縮」で「長期」を手に入れること。短い要約で、AIに長い会話を覚えさせます。
コメント