dear robots

概要

• robots.txtの設定をもとに、各ウェブサイトがAIクローラーを許可しているか、ブロックしているかを確認できます。
• 主要なウェブサイトのAIクローラー対応状況を毎週更新し、変化を継続的に追跡できるようにします。

主な機能

• GPTBot、ClaudeBot、CCBotなど、代表的なAIクローラーごとのアクセス制御状況をサイト単位で確認できます。
• 調べたいウェブサイトのURLを入力するだけで、クローラーとの相互作用やrobots.txtのルールをリアルタイムにチェックできます。
• APIを利用して、取得したクローラー情報を自社の開発ツールや監査ワークフローへ組み込めます。

こんな人におすすめ

• 自分のウェブサイトがAIクローラーにどう扱われているかを確認し、robots.txtの設定を監査したいサイト運営者。
• クロール対象サイトの利用可否を事前に調べたい開発者や、AI関連のデータ収集基盤を構築するチーム。