チャンキング

チャンキングって何？

何万字ものドキュメントを丸ごとAIに渡すのは、コストがかかるうえに大事な情報を見落としがち。チャンキング（チャンク分割）は、長い文書を小さな塊に分け、それぞれが「文脈を自分で持つ」ようにすること。検索で正確にヒットさせられます。

なぜ、しかも上手に分ける必要があるのか

長すぎるとモデルが読みこなせない
文脈窓は限られています。本を丸ごと入れると要点が薄まります。
短すぎると意味が切れる
乱暴に切ると文を途中で分断し、「彼」とその指す相手を別々の塊にしてしまうことも。

よくある分け方

固定長で切る
文字数やトークン数で均等に切る。簡単ですが意味を断ち切りやすい。
構造で切る
見出し・段落・章に沿って切る。文書本来の構造に寄り添います。
重ねて切る
塊同士を少し重ね、境界で情報が落ちるのを防ぎます。

RAGへの重要度

検索拡張生成（RAG）の質は「分け方」に大きく左右されます。上手く分ければ検索は正確になり、答えも確かになる。下手だと、どんなに強いモデルでも答えられません。

まとめ：チャンキングは長い文書を「ひと口サイズ」に分けること。上手に分ければ、AIはしっかり吸収します。