‹ブログ

更新日 2026-07-31

AIクローラーをブロックしているサイトはどこか？主要28ドメインのアクセス制御ベンチマーク調査

AI検索での可視性を高める取り組みは、多くのチームが見落としがちな根本的な問いから始まります。「そもそもクローラーはそのページを読み込める状態にあるか？」という点です。robots.txtでGPTBotをブロックしている場合、どれほどコンテンツを最適化しても、ChatGPTがそのドメインを引用することはありません。インデックスの候補にすら入らないためです。本ベンチマークでは、AEO Mantisの無料診断ツールに搭載されているパーサーと全く同じ解析ロジックを公開28ドメインに適用しました。そのため、自社ドメインを入力すれば誰でも同じ検証を再現できます。

ベンチマーク調査の概要

調査実施日：2026年7月31日。調査対象：AI企業、大手SaaS、メディア、Eコマース、SNS・コミュニティ、レファレンスサイトの6カテゴリにわたる計28ドメイン。誰でも検証を再実行できるように、全ドメインのリストを後述の結果テーブルで公開しています。

各ドメインに対して、HTTPS経由で「/robots.txt」と「/llms.txt」の2つのファイルを取得しました。robots.txtは単なる文字列検索ではなく、ユーザーエージェントごとのグループ単位で構文解析（パース）しています。対象クローラーの専用グループまたはワイルドカード（*）グループでルートパス（/）へのアクセスが拒否（disallow）されており、かつそれを上書きする許可（allow）ルールが存在しない場合を「ブロック（遮断）」と判定しました。これはAEO Mantisのサイト監査機能に実装されているロジックと同一であり、5つのクローラーそれぞれに適用されるルールを個別に評価しています。

今回検証した5つのクローラーは以下の通りです。

• GPTBot — OpenAIのクローラー。ChatGPTのWeb検索やブラウジング機能にデータを供給
• ClaudeBot — Anthropicのクローラー。Claudeにデータを供給
• PerplexityBot — Perplexityのクローラー
• Google-Extended — GoogleがクロールしたコンテンツをAI学習やAI Overviewsに利用できるかを制御するトークン
• Bingbot — Microsoftのクローラー。BingおよびCopilotにデータを供給

調査結果：ドメイン別のクローラーブロック状況

以下の表は、調査対象となった全ドメインの結果です。「✓」はクローラーのアクセスが許可されている状態、「✗」はrobots.txtによってサイト全体へのアクセスがブロックされている状態を示します。また「llms.txt」列は、該当ファイルが設置・公開されているかどうかを表しています。

最もブロックされているAIクローラーはどれか

Bingbotはほぼすべてのサイトで許可されており、28ドメイン中でブロックしていたのはRedditのみでした。一方で、AIに特化した4つのクローラーは明らかに高いブロック率を示しています。

この傾向は、各クローラーの利用目的に合致しています。Bingbotは一般的な検索エンジンに紐づいており、大半のサイトが検索流入を期待するためブロックされることは稀です。Google-ExtendedはAIスタートアップ3社のクローラーに比べてブロック率がやや低くなっています。これは、Google検索への掲載（通常Googlebotは許可）とAI学習へのデータ提供を切り分けて管理しているサイトが存在するためと考えられます。一方、AI専用クローラーであるGPTBot、ClaudeBot、PerplexityBotの3つはブロック率が最も高く、対価の支払いが不透明なままコンテンツが学習や回答生成に利用されることへのパブリッシャー側の警戒感を反映しています。

興味深い点として、特定のAIクローラーのみを選択的にブロックしているドメインが複数見られました。例えば、The GuardianはClaudeBotとPerplexityBotを遮断しつつGPTBotを許可しており、MediumはGPTBotとClaudeBotを遮断してPerplexityBotを許可しています。こうした差異は、一律に「AI全拒否」とするのではなく、個別の提携交渉や運営方針に基づいてクローラーごとに判断を下しているケースが多いことを示唆しています。

llms.txtの普及率は依然として低い水準

llms.txt仕様は、AIシステムに対して優先的に引用・参照すべき重要ページを伝えるための提案されているプレーンテキスト形式の慣習です。今回の調査対象では、28ドメイン中11ドメイン（約39%）のみがllms.txtを設置していました。導入しているのは主に開発者向けツールやテック企業（Stripe、Shopify、Vercel、Cloudflare、Notion、GitHub、Linear、Supabaseなど）であり、メディアパブリッシャーでの導入は皆無でした。

まだ普及初期の慣習であることを考慮すれば当然の結果とも言えますが、示唆する意味は小さくありません。robots.txtでAIクローラーをブロックし、llms.txtも設置していないサイトは、AI回答から完全に距離を置く選択をしていると言えます。一方で、クローラーを許可しているもののllms.txtを設置していないサイトは、AIによる重要ページの発見を偶発性に委ねている状態です。

AI検索での可視性に与える影響

実践的な教訓として、クローラーのアクセス許可はAI検索での可視性対策におけるすべての前提となる「絶対条件」です。robots.txtでGPTBotをブロックしていれば、どれほどコンテンツの構造が優れていても、エンティティの一貫性が高くても、多数の外部リンクを獲得していても、ChatGPTがそのページを引用することはありません。アクセス設定の修正はコストをかけずに実施でき、その後のすべての最適化の前提条件となるため、最も費用対効果の高い改善施策と言えます。

今回のデータから明らかになった、自社サイトで確認すべき3つの注意点は以下の通りです。

• 意図しないワイルドカードでのブロック：robots.txtでUser-agent: *に対してDisallow: /を設定していると、専用の個別指定グループを持たないすべてのクローラーが遮断されます。特定のクローラー対策として記述したつもりが、想定外のAIエージェントまでブロックしてしまっていないか確認が必要です。
• クローラーごとの設定の不整合：調査対象の複数のドメインで、一部のAIクローラーのみを許可し、他をブロックする事象が見られました。「GPTBotのみ許可する」設定にしたままrobots.txtが更新されていない場合、後から登場したClaudeBotなどの新しいクローラーが制限的なワイルドカードルールに引っかかっている可能性があります。
• クローラーを開放しているにもかかわらずllms.txtが未設置：クローラーのアクセスを許可していてもllms.txtを設置していない場合、AIシステムはページをクロールできますが、どの情報が最優先で引用されるべきかの手掛かりを得られません。llms.txtの作成・配置は数分で完了する作業です。

自社サイトの診断方法

無料のAI検索可視性チェッカーを使えば、任意のURLに対して本ベンチマークと同じパーサーを用いた診断を実行できます。5大AIクローラーのアクセス許可判定やllms.txtの有無に加え、情報抽出の容易性（JavaScriptによる制限、見出し構造、構造化データ）やアイデンティティ（Organizationマークアップ）も検証します。アカウント登録は不要で、URLを入力するだけで優先度の高い修正項目リストを確認できます。

クローラーの巡回可否にとどまらず、実際のAIプラットフォーム上で自社ブランドが言及・引用されているかを包括的に把握するには、AEO Mantisのモニタリング機能が有効です。主要8つのAIプラットフォーム上で実際のプロンプトを定期実行し、ブランド言及、引用、競合状況、参照された出典の推移を継続的に追跡できます。

本ベンチマークの制限事項

本ベンチマークが検証しているのは、AI検索での可視性における1つの二者択一的な要素、すなわち「クローラーがページを取得できるかどうか」に限定されています。実際にクローラーがページを訪問している頻度や、AIシステム上でページがどのようにレンダリングされるか、あるいはコンテンツが引用を獲得できているかどうかまでは測定していません。5つのクローラーすべてを許可しているドメインであっても、コンテンツの関連性や権威性が不足していたり、構造化されていなかったりすれば、AI回答内での可視性は依然として低いままです。全体像を把握するには、クローラーのアクセス権限を確認するだけでなく、実際のAI回答をモニタリングすることが不可欠です。

調査対象はカテゴリの多様性を考慮して選定した28ドメインであり、統計的な母集団を代表するものではありません。また、robots.txtのルールは2026年7月31日時点のものであり、現在とは異なっている可能性があります。なお、robots.txt取得時に200以外のHTTPステータスコードが返されたドメイン（midjourney.comはHTTP 403、stackoverflow.comはHTTP 418）は、明示的なブロックルールが検出されなかったため「すべて許可」として扱っています。ただし、robots.txtが取得できない状態と、意図的にアクセスを許可している状態は区別して捉える必要があります。