memtrust

概要

• memtrust-cli は同一条件で MemPalace、Mem0、Zep/Graphiti、OpenViking のメモリシステムを評価する独立 CLI。
• 17 種類の評価を実施。矛盾検出と圧縮忠実度を含む。
• 偏りなく設計され、偽API検出を含む自社検証を実施。自ホスト対応でアカウント不要。

現状と成果

• mem0_direct のみがフル実行。ローカル環境で Qdrant + OpenAI を利用。
• 矛盾検出は 7/7 が黙って上書き、衝突検出なし。
• 圧縮忠実度の平均は 31.6%、抽出品質は 15 件中 12 件が拒否、3 件は取得時に失われた。
• mem0ai 自体の不具合も発覚。デフォルトモデル名の不整合と API キー時のエラー回避を対応。

今後の展望

• Zep/Graphiti、OpenViking のライブベンチを追加予定。
• さらなるバックエンドの検証とデータの共有を想定。

参照と協力

• 評価対象を選ぶ際の要点を共有可能。協力・issue 提出歓迎。