「ベクトル類似度検索の限界」を突破する、構造化・推論ベースの新アプローチ
2025年後半から2026年にかけて、RAG(検索拡張生成)の世界は大きな転換点を迎えています。従来の「Embedding(ベクトル化) + ベクトルDB」による検索に代わり、現在最も注目を集めているのが、VectifyAIが提唱した PageIndex を筆頭とする「PageIndex系(Vectorless & Reasoning-based)RAG」です。
本記事では、この次世代RAGのコンセプトから、具体的な実装例、運用に不可欠なエラーハンドリング戦略までを詳細に解説します。
1. 従来型「Vector RAG」の限界と PageIndex の登場背景
従来のRAGは、文書を固定長の「チャンク」に分割し、ベクトル空間での距離(コサイン類似度など)で検索を行ってきました。しかし、実務レベルでは以下の問題が頻発していました。
- 文脈の断絶: 固定サイズ(512トークン等)で切ると、段落の途中で意味が分断される。
- 不正確なヒット: 語彙が似ているだけの無関係なページが「類似度が高い」と判定される。
- 構造の無視: 財務諸表の「表(Table)」や法律の「条文構造」がフラットなテキストとして扱われ、論理的な参照が困難。
- 根拠の曖昧さ: 回答の根拠が「どのドキュメントの、どのページ、どの表か」を特定しにくい。
これらを解決するために生まれたのが、「ドキュメントを読解し、構造化された木(ツリー)を辿って推論する」 というPageIndexのアプローチです。
2. PageIndex系RAGの3大コアコンセプト
PageIndexは「ベクトルを使わない(Vectorless)」ことで、人間が資料を読み解くプロセスをLLMで再現します。
① ドキュメントの階層ツリー構造化
PDFやMarkdownを、単なるテキストの塊ではなく「目次・見出し・章・節・表・図」の**階層構造(Hierarchical Tree)**として再構築します。各ノードには内容の要約(Summary)が付与されます。
② ベクトルを使わない「推論ベース検索(Tree Traversal)」
クエリに対し、LLMが「この質問に答えるには、どの章を見るべきか?」を段階的に判断します。
- ルート(目次レベル)で推論: 「第3章に該当しそうだ」
- 子ノード(節レベル)へ移動: 「第3章の3.2節の表に答えがありそうだ」 この「木を降りていく」プロセスにより、検索の精度と説明性が劇的に向上します。
③ 論理単位での超高精度引用
「Page 42のTable 5」といった、人間が理解できる論理単位で情報を抽出するため、ハルシネーション(幻覚)を抑制し、極めて精度の高い根拠提示を可能にします。
