Hierarchy Aware Chunker

製品概要

階層を考慮したドキュメントチャンクは、次世代のドキュメントチャンク化を目指したツールです。このツールは、文書の文脈、構造、意味を保持しながら、効率的にチャンクを作成します。

特徴

• 📑 ドキュメント構造（タイトル、見出し、副見出し、セクション）を理解。
• 🔗 文脈が正しく流れるように、ネストされた副見出しを適切に統合。
• 🧩 複数レベルの階層を保持し、タイトルからサブセクションまでを網羅。
• 🏷️ 各チャンクにメタデータを追加し、そのセクションに関連づけ。
• ✅ 検索に最適化された構造化されたチャンクを生成。
• 法律文書、研究論文、契約書などに非常に効果的。
• マルチレベルのネスティングに対応。

利用方法

特別な前処理は必要なく、生のコンテンツやMarkdownをそのまま貼り付けるだけで利用可能です。また、LangChain互換のプロバイダーとの統合も簡単で、柔軟に切り替えが可能です。