GcrawlAI

概要

• あらゆるURLを対象に、Markdown、HTML、JSON、スクリーンショットなどの扱いやすい形式でWebデータを取得できるスクレイピングAPIです。
• オープンソースかつMITライセンスで、セルフホストまたはホスティングAPIとして利用でき、無料枠では200リクエストを試せます。

主な特徴

• JavaScriptレンダリング、アンチボット対策、プロキシローテーション、SERP取得に対応し、動的サイトや大規模なクロールも処理できます。
• RAG、AIエージェント、MCP、LLMワークフロー向けの出力に加え、非同期の大量取得やWebサイトの変更検知にも対応します。

こんな人におすすめ

• Web上の情報をAIエージェントやRAGに取り込みたい開発者、LLM用の学習データセットを構築したいチームに適しています。
• 競合商品の価格調査、ECサイトからの構造化データ抽出、企業向けの大規模クローリング基盤を効率化したい人に向いています。