複数根拠検索における関係探索の評価

結果

2026年7月26日に実施した内部評価では、テストした検索構成に関係探索を含めることで、ALL@10が25%から63%へ上がりました。

ALL@10は、質問に必要なすべての根拠パッセージが、検索結果の上位10件に含まれた質問の割合です。最終回答の正確性ではなく、検索段階を測る指標です。

評価条件

MuSiQue-Ansの開発データから、固定した層化シードで抽出した100問を使用しました。内訳は2-hopが52問、3-hopが31問、4-hopが17問です。各質問の根拠パッセージと妨害パッセージを一つにまとめ、1,730件の固有パッセージからなるプール済みコーパスを作りました。

このコーパスは、実際のConsilienceアプリの処理パイプラインに通しました。二つの条件は、同じ質問、コーパス、検索パイプラインを使用しています。一方では関係探索の寄与を除き、もう一方ではリリース済みの融合構成を維持しました。

R@10は、各質問に必要な根拠のうち上位10件で見つかった割合の平均です。ALL@10はより厳しく、必要なパッセージをすべて見つけた質問だけを成功として数えます。

この結果が支持すること

この標本、プール済みコーパス、検索構成の範囲では、関係探索が、複数のパッセージに分散した必須根拠をそろえて見つけることに役立ちました。この結果は、根拠が複数資料に分かれた質問について、つながった構造を利用する検索をさらに調べる理由になります。

ただし、関係探索があらゆる質問で最良という意味ではありません。同じ研究過程でも、キーワード検索の重みはコーパスによって異なる結果を示しました。正確な語句を探す質問と、複数の資料を読む質問では、適した検索の組み合わせが異なる可能性があります。

限界

• Consilienceが実施した内部評価であり、外部監査は受けていません。
• 検索段階だけを測定しました。検索結果を読み、最終回答を生成するモデルの正確性は評価していません。
• 標本は100問、プール済みパッセージは1,730件です。公開されたMuSiQue研究では、より大きなプールを用いる場合が多いため、条件をそろえずに絶対スコアを外部システムと比較することはできません。
• 一つのConsilience検索構成の中で要素を除いたアブレーションであり、外部製品との比較ではありません。
• すべてのグラフ、コーパス、モデル、仕事に通用する普遍的な因果関係を証明するものではありません。
• 内部記録には再現手順がありますが、この公開記事自体は独立した再現や外部検証を終えたベンチマーク報告ではありません。

解釈

有効な結論は、狭く明確です。このプール済みコーパスとパイプラインでMuSiQue-Ans 100問を評価したところ、関係探索を含む条件では、63%の質問で必要なすべての根拠が上位10件に入りました。関係探索の寄与を除いた条件では25%でした。

次に必要なのは、より大きく、条件をそろえた設定で再測定すること、最終回答の品質を別に評価すること、そして複数根拠ベンチマークと実際のユーザー資料の双方で、質問の種類に応じて検索の組み合わせを変える方法を検証することです。