LightCrawl

概要

LLM向けに最適化された軽量・自己ホスト可能なウェブスクレイピングAPIとMCPサーバです。TypeScriptとPlaywrightで信頼性の高いスクレイピングを実現。Brave Search連携で自律的なブラウジングを可能にし、複雑なページをLLM用のMarkdownへ整形します。100%オープンソースでDocker・Railwayからのデプロイが容易。完全にステートレス設計でセキュアに運用可能。CursorやClaude Codeなどのツールと容易に接続できます。

主な特徴

• TypeScript + Playwright による安定したスクレイピング
• Brave Search連携の自律ブラウジング
• messy pages をLLM用Markdownへ自動整形
• 完全オープンソース／Docker・Railway対応
• MCPサーバ機能を標準搭載

利用シーン

• AIエージェントへのクリーンデータ供給
• 自己ホストのデータパイプライン構築
• MCP対応ツールとの統合