RAG CrawlerBot

概要

RAG Crawlerは任意のURLをLLM向けに最適化されたクリーンなMarkdownまたはJSONへ変換する、オープンソースのデータ取得ツールです。深いクロール機能とStreamlit搭載の使いやすさが特徴。リンクを貼るだけでクロールから取り込み準備まで完結します。

特徴

• LLM最適化データ形式
• 深いクロール（サイトの構造を辿る）
• Streamlitベースのシンプルさ、CLIやAPIキー不要
• オープンソースでコミュニティ貢献を歓迎

使い方と利点

使い方はシンプル。URLを貼ってクロールを開始するだけ。生成データはMarkdownまたはJSONで、RAGパイプラインへそのまま投入可能。高速で軽量、開発者向けに設計されており、データクリーニングの負担を軽減します。