ReportIQ

概要

• PDF文書に自然言語で質問し、回答生成の根拠となる情報が適切に検索されているかを確認できるQ&Aアプリです。
• 単なるチャットボットの回答品質ではなく、RAGシステムが正しい証拠を取得できているかという観点から検証できます。

主な特徴

• BGE埋め込みとFAISSによるRAGパイプラインを使い、文書分割から関連情報の検索までの流れを探索できます。
• Recall@KやMRRなどの指標で検索品質を評価し、LangSmithを通じてLLMワークフローの実行状況も確認できます。
• 8件のPDFを721チャンクに分割し、50問で評価した検証例では、Recall@3が91.7%というベースライン結果を記録しています。

こんな人におすすめ

• RAGアプリケーションを開発し、生成結果だけでなく検索されたコンテキストの妥当性まで検証したい開発者に適しています。
• Python、Streamlit、FAISS、埋め込みモデルを使った文書検索の実装や評価方法を実践的に学びたい人に向いています。
• 検索評価の設計やLLMの可観測性、RAGユーザー体験について試行錯誤したいAIエンジニアや研究者に役立ちます。