Danubia
ストックにはログインが必要です
あらゆるWebページをクリーンなMarkdownに変換。EUでホスティング
Artificial Intelligence
Developer Tools
API
概要
- URLを送るだけで、広告や定型文を除去したMarkdown、HTML、プレーンテキストを取得できる開発者向けスクレイピングAPIです。
- オンデマンド処理と一括処理に対応し、一括取得ではクレジットを節約できます。EU内でホスティングされ、サブスクリプション契約は不要です。
主な特徴
- 独自に開発したコンテンツ抽出ライブラリを搭載し、Trafilatura、Readability、Turndown、Firecrawlなどと比較しながら抽出精度を継続的に改善しています。
- MCPサーバーを接続するとAIエージェントがページを直接取得できます。共有クローリング基盤はrobots.txt、クロール間隔、同時接続数、リトライを大規模に管理します。
- 現在は登録時にクレジットカード不要で500クレジットを利用でき、開発者からのフィードバックをもとに機能を検証しています。
今後の展開とおすすめの利用者
- Webページの本文だけを収集したい検索、AIエージェント、データ分析、ナレッジベース構築などの開発に適しています。
- 大量のURLを処理して、ノイズのないテキストデータを効率よく集めたい開発者やチームに向いています。
- 今後は単純なテキスト抽出にとどまらず、URLを大規模で整理されたデータセットへ変換する構造化データ抽出を目指しています。
投票数: 2