「ChatGPTに聞いても自社サイトが出てこない」と感じたとき、真っ先に疑いたいのがrobots.txt（ロボッツテキスト）です。ここでAIクローラーを拒否していると、どれだけ良い記事を書いてもAIの回答には載りません。
本記事ではAI検索対策の入口にあたるrobots.txtに絞り、ブラウザだけで3分でできる診断から、目的別の設定例、WordPressでの直し方まで紹介します。自社サイト（hatorox.com）で実際に確認・設定した実画面つきなので、非エンジニアの方もそのまま真似してください。
なお、AI検索対策の全体像は「LLMOとは？非エンジニアでも今日からできるAI検索対策」で解説しています。あわせて読むと理解が深まります。
robots.txtとは
robots.txtとは、検索エンジンやAIの巡回ロボット（クローラー）に「サイト内で読み取ってよい場所」を伝えるテキストファイルのことです。サイトの入口に立つ案内板のような存在で、「ドメイン名/robots.txt」というURLを打てば誰でも中身を見られます。
AIクローラーとは、OpenAIやGoogle、Anthropicなどが運用する、AIのためにWebページを集めに来るロボットのことです。収集した内容は、AIの学習や、ChatGPTが回答を作るときの参照先になります。
つまり、robots.txtでAIクローラーを拒否したサイトを、AIは読めません。AIの回答に引用されたいなら、まずrobots.txtで入口を開けておくのが前提です。
AIクローラーをブロックしていないか確認する3ステップ
診断に専門知識は要りません。次の3ステップで、あなたのサイトの現状が分かります。
順に見ていきましょう。
1. ブラウザで自分のサイトのrobots.txtを開く
ブラウザのアドレスバーに「自分のドメイン/robots.txt」と入力して開きます。当サイトなら「hatorox.com/robots.txt」です。パソコンでもスマホでも、ログインなどの操作は要りません。
実際に開いた当サイトの中身は上の画像のとおりで、たった5行でした。英文の指示が表示されれば第1ステップは完了です。もし404などのエラーになる場合はrobots.txt自体が無いサイトということなので、少なくともAIを拒否していない状態だと分かります。
2. AIクローラーを拒否する記述を探す
表示された中身から「User-agent:」と「Disallow:」の組み合わせを探しましょう。User-agentはロボットの名前、Disallowは立入禁止の場所という意味です。次のような記述があれば、そのロボットを全ページで拒否しています。
User-agent: GPTBot Disallow: /
当サイトの場合は「User-agent: *」（すべてのロボット）に対して「Disallow: /wp-admin/」（管理画面だけ立入禁止）でした。管理画面を守りつつ記事はすべて開放している、WordPressの標準的な形です。
GPTBotなどのAIボット名が名指しで拒否されていなければ、robots.txt上は合格です。ボット名の一覧は次の章の表で確認できます。
3. サーバーやCDN側の遮断設定を確認する
実は、robots.txtが開いていても安心はできません。サーバー会社やCDN（世界中にコンテンツを配る中継サービス）が、robots.txtとは別の層でAIボットを遮断している場合があるためです。
エックスサーバーは2026年1月7日から、GPTBotやClaudeBotなど23種類を一括遮断できる「AIクローラー遮断設定」を提供しています。
出典：エックスサーバー「AIクローラー遮断設定」機能の提供を開始（2026年1月7日）
場所はサーバーパネルの左メニュー「ホームページ」の一番下です。公式マニュアルには「サーバー設定」カテゴリと書かれていますが、新デザインの画面では「ホームページ」内にあるので迷わないでください。
当サイトで確認したところ、初期状態のままOFFでした。この設定がONだと、robots.txtが全開放でもAIは1ページも読めません。
Cloudflareも2026年7月1日、AIクローラーを「検索」「エージェント」「学習」の3用途別に管理する機能を全プランに開放しました。9月15日からは、広告を載せた新規ドメインで「学習」と「エージェント」を初期状態でブロックする予定と発表されています。契約中のサービスの管理画面も一度のぞいてみましょう。
出典：クラウドフレアジャパン公式発表（2026年7月）
主要なAIクローラー一覧
AIクローラーは名前ごとに役割が違い、大きく3種類に分かれます。まず代表的なボットを表で確認しましょう。
| ボット名（User-agent） | 運営 | 役割 | 拒否するとどうなるか |
|---|---|---|---|
| GPTBot | OpenAI | ChatGPTの学習用データ収集 | 今後の学習に使われなくなる |
| OAI-SearchBot | OpenAI | ChatGPT検索の索引づくり | ChatGPTの検索結果に出なくなる |
| ChatGPT-User | OpenAI | ユーザーの指示でページを取得 | URLを渡されても読めなくなる |
| ClaudeBot | Anthropic | Claudeの学習用データ収集 | 今後の学習に使われなくなる |
| Claude-SearchBot | Anthropic | Claudeの検索用 | Claudeの回答候補から外れる |
| PerplexityBot | Perplexity | AI検索の索引づくり | Perplexityの回答に出なくなる |
| Google-Extended | Geminiの学習利用の制御 | Geminiの学習に使われなくなる | |
| CCBot | Common Crawl | 公開Webデータの収集 | 同データを学習に使う各社AIに渡らなくなる |
各ボットの役割は、OpenAI、Anthropic、Perplexity、Googleの各公式ドキュメントに基づいています（2026年7月時点）。
3種類の違いを順に解説します。
AIの学習に使われるクローラー
GPTBotやClaudeBot、Google-Extended、CCBotが代表です。集めたページは、将来のAIモデルを訓練するためのデータになります。「自社の文章を勝手に学習されたくない」という懸念に関わるのはこの種類です。
注意したいのは、学習用を拒否してもAI検索とは別枠だという点です。検索用のクローラーが開いていれば、ChatGPTなどの回答には引き続き出られます。学習だけを選んで止められる、と覚えておきましょう。
AI検索の回答に使われるクローラー
OAI-SearchBotやPerplexityBotなど、AI検索の索引（インデックス）を作るクローラーです。AIはユーザーの質問を受けると、あらかじめ作った索引からページを探し、回答の引用元として表示します。
AI経由の集客に効くのはこの検索用クローラーで、拒否すると回答の候補から消えます。集客目的のサイトが最優先で開けておくべき入口です。
ユーザーの質問時にページを取りに来るクローラー
ChatGPT-UserやClaude-Userのように、ユーザーがAIにURLを貼って「読んで」と頼んだ瞬間だけ動くクローラーです。日常的な巡回はしません。
拒否すると、見込み客が自社のページをAIに要約させたり、比較検討の材料に使ったりできなくなります。営業資料や料金ページをAIごしに読まれる場面は今後も増えるため、ここも開けておく方が得策です。
AI学習の拒否とAI検索への掲載は別問題
AIの学習を拒否することと、AI検索の回答に載ることは、実は別の話です。学習用クローラーだけを拒否し、検索用クローラーを許可すれば、文章をAIの訓練に渡さずに、ChatGPTなどの回答には引用され続けられます。
筆者がWeb集客の支援で接してきた中でも、大手企業ほど「AIに勝手に学習されたくない」という声は根強く、社内でAIの利用自体を禁止している会社もあります。
一方で、AI経由の集客まで捨てる必要はありません。学習だけ拒否して検索には出る、という中間の道を知っておくと、社内の慎重論と集客を両立できます。
ちなみに筆者は、当サイトを学習にも開放する方針です。書いた内容がAIの回答に広まるほど、社名で見つけてもらえる場面が増えると考えているためです。
目的別のrobots.txt設定例
方針は次の3つに分かれます。コピペで使える形で紹介するので、自分の目的に合うものを選んでください。
すべて許可する設定
意外に思われるかもしれませんが、すべて許可するために書くことは何もありません。robots.txtは「拒否を書き込むファイル」で、何も書かなければ許可の扱いになります。
WordPressの標準状態（管理画面のみ立入禁止）のままで、AIクローラーは全部入れます。集客目的のサイトなら、この「何もしない」が最も合理的です。当サイトもこの状態で運用しています。
「開放していて大丈夫か」と不安になるかもしれませんが、公開済みのWebページはもともと誰でも読める情報です。守るべき情報は会員ページ化やパスワードで守り、集客用のコンテンツは開けておく、と分けて考えましょう。
学習だけ拒否してAI検索には出る設定
学習用のクローラーだけを名指しで拒否する形です。既存のrobots.txtがある場合は、末尾に追記してください。
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: Meta-ExternalAgent Disallow: /
検索用のOAI-SearchBotやPerplexityBot、ユーザー操作型のChatGPT-Userについて何も書かない点が肝です。書かない＝許可なので、AI検索への掲載資格は残ります。
すべて拒否する設定
コンテンツを一切AIに触らせたくない場合の形です。上の学習用に加えて、検索用とユーザー操作型も拒否します。
User-agent: OAI-SearchBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Claude-SearchBot Disallow: /
ただしAI検索の回答からも消えるため、集客の入口を1つ手放すことになります。会員制サイトや有料コンテンツのように、守る価値が集客より大きい場合に限って選びましょう。
WordPressでrobots.txtを確認して直す手順
WordPressのrobots.txtはやや特殊で、知らないと「ファイルが見つからない」と戸惑います。次の3手順で確認から編集まで進めましょう。
1. 現状のrobots.txtを表示する
まずブラウザで「自分のドメイン/robots.txt」を開き、今の中身をメモ帳などに控えます。
ここで知っておきたいのが、WordPressのrobots.txtは多くの場合、サーバー上に実ファイルが存在しない点です。アクセスされた瞬間にWordPressが自動生成する、いわば仮想のファイルだからです。実際に当サイトのサーバー内をファイルマネージャで確認しても、robots.txtはどこにもありませんでした。
ブラウザで見えるのにサーバーに無いのは故障ではなく、WordPressの正常な動きです。編集はSEOプラグインの画面か、実ファイルの設置で行えます。手順は次のとおりです。
2. プラグインかサーバーの機能で編集する
SEOプラグインのAll in One SEOを使っている場合は、WordPress管理画面の「All in One SEO」→「ツール」→「Robots.txtエディター」を開き、「カスタムrobots.txtを有効化」をオンにすると画面上から追記できます。ファイル操作が要らないので、非エンジニアの方はこの方法が安全です。
同じ画面の下部にある「Block AI Crawlers」の欄も見ておきましょう。チェックを入れるとGPTBotなどを一括でブロックする項目なので、AI検索からの集客を狙うならチェックは外したままにしてください。当サイトもすべて外しています。
プラグインを使わない場合は、サーバーのファイル管理機能で「public_html」直下にrobots.txtファイルを設置します。エックスサーバーならファイルマネージャから操作でき、実ファイルを置くと自動生成の内容よりそちらが優先されます。
3. 変更が反映されたかを確認する
編集後、もう一度ブラウザで「ドメイン/robots.txt」を開き、追記した行が表示されるか確かめましょう。前の内容のままに見える場合は、ブラウザのキャッシュ（一時保存）が原因のことが多いので、シークレットウィンドウで開き直すと確実です。
あわせてGoogleサーチコンソールのrobots.txtレポートを見ると、Googleがいつ、どの内容を読み取ったかまで確認できます。書き換えた直後に順位や流入の変化は出ないので、慌てず数日単位で様子を見てください。
制作会社に依頼する場合の文面テンプレ
サイトの管理を制作会社に任せている場合は、自分でファイルを触るより、依頼文をそのまま送る方が早くて安全です。次の文面をコピーして使ってください。
「AI検索に出たいので入口を開けてほしい」という方針さえ伝われば、細かい書き方はプロ側で判断してもらえます。確認結果は念のためスクリーンショットでもらっておくと、後から見直せて安心です。
robots.txtを設定するときの注意点
最後に、設定の前に知っておきたい落とし穴を3つ挙げます。
robots.txtだけでは完全に防げない
robots.txtは法律ではなく、ロボット側の自主性に任せた紳士協定です。行儀の良いボットは従う一方で、無視して収集するボットもゼロではありません。
またOpenAIとPerplexityは、ユーザー操作型のボット（ChatGPT-UserやPerplexity-User）について「ユーザーが起点の取得にはrobots.txtのルールが適用されない場合がある」と公式に明記しています。つまり全拒否の設定にしても、ユーザーがURLを貼って読ませる行為までは完全に止められません。
出典：OpenAI公式ドキュメント
学習拒否を確実にしたい場合は、エックスサーバーのAIクローラー遮断設定やCloudflareのように、サーバー側で物理的に遮断する機能を併用しましょう。robots.txtは方針の表明、サーバー遮断は施錠、と役割で使い分けるイメージです。
記述ミスでGoogle検索から消える
最も怖い事故が、「User-agent: *」に対して「Disallow: /」と書いてしまうミスです。たった2行で、Googleを含む全ロボットを締め出し、検索結果からサイトごと消えていきます。
編集の前に必ず元の内容を控え、追記は1ブロックずつ行いましょう。書き換えた後にサーチコンソールでエラーが出ていないかを見る習慣も、事故の早期発見に役立ちます。
入口を開けても引用されるとは限らない
robots.txtの開放で得られるのは、AIに読んでもらう資格までです。回答に引用されるかどうかは、記事の中身がAIにとって引用しやすい形かどうかで決まります。具体的には、質問に即答する段落や、出典つきの数字、表やリストです。
引用されやすい書き方は「AIに引用される記事の5つの要素」で詳しく解説しているので、入口を開けたら次はこちらに取り組んでください。
robots.txtとAIクローラーに関するよくある質問
最後に、よく検索されている疑問へ簡潔に答えます。
robots.txtはどこにありますか？
ドメインの直下です。ブラウザで「ドメイン名/robots.txt」を開けば誰でも見られます。WordPressの場合、サーバー上に実ファイルが無くても自動生成で表示されることが多いです。
ChatGPTにURLを貼って確認してもらえますか？
失敗する場合があります。筆者が自社サイトで試したところ、ChatGPTもGeminiも「アクセスできない」という回答でした。AI側の取得機能は不安定なので、ブラウザで直接開いて確認する方が確実です。
GPTBotを拒否するとChatGPTに出なくなりますか？
出なくなるのは学習への利用だけです。検索用のOAI-SearchBotを許可していれば、ChatGPTの検索結果には引き続き掲載されます。両方を拒否すると、学習からも検索からも消えます。
Google-Extendedを拒否するとGoogleの検索順位は下がりますか？
下がりません。Google公式が「Google-ExtendedはGoogle検索への掲載に影響せず、順位付けの指標にも使われない」と明記しています。制御できるのはGeminiによる学習利用だけです。
出典：Google検索セントラル「Googleの共通クローラー」
llms.txtとrobots.txtの違いは何ですか？
役割が逆方向です。robots.txtが「入ってよいか」を伝える門番なのに対し、llms.txtはAIに「サイトの要点はここです」と案内する紹介状にあたります。ただしllms.txtは主要なAI企業が読む保証がなく、効果の裏付けもまだありません。優先すべきはrobots.txtの確認です。
noindexとrobots.txtの違いは何ですか？
noindexは「検索結果に載せないで」という指示で、ページのHTML側に書きます。robots.txtは「読みに来ないで」という指示です。なお、robots.txtで拒否したページはnoindexの指示自体を読んでもらえなくなるため、組み合わせて使うときは注意してください。
一度AIに学習された内容は拒否すれば消えますか？
消えません。robots.txtの拒否は今後の収集を止めるだけで、すでに学習済みのAIモデルからデータを取り除くことはできません。学習されたくない情報は、公開する前に扱いを決めておきましょう。
まとめ｜robots.txtでAIの入口を開けてから中身を磨こう
robots.txtの診断は、ブラウザで開き、拒否の記述を探し、サーバー側の遮断設定まで見る、という3ステップで終わります。集客目的のサイトなら、AIクローラーは開放しておく方が得です。学習だけ拒否したい場合も、検索用クローラーを許可すればAI検索への掲載と両立できます。そして入口を開けたら、勝負は記事の中身です。
ハトロクスでは、robots.txtの診断を含むAI検索対策を、LLMO対策の費用相場のご説明から実際の改善まで一貫して承っています。「うちのサイトはAIに読まれているのか」という確認だけでも構いませんので、気軽に現状をお聞かせください。