要点

対象：ホームページの文章をAIに使われたくない人

  1. 検索の順位には響かない
  2. 書く行は2行でサイトの最上位に置く
  3. 共通の書き方は2027年を目指す段階

Google-Extendedは、サイトの文章をGoogleのAI「Gemini」の学習などに使わせたくないときに、robots.txtへ書くトークン（目印）です。1断るなら、書くのは2行です。

この記事の目次（7節）
  1. 書く行と、置く場所
  2. 変わること、変わらないこと
  3. OpenAIとAnthropicは、学習用と検索用を分けている
  4. 2027年の対応を目指す共通の書き方
  5. 書く前に確かめること
  6. ホームページの記事づくりは、AI秘書に任せられます
  7. ホームページの仕事を任せられるか、30分で確かめる

書く行と、置く場所

robots.txtは、検索サービスなどのプログラム（クローラー）に、見てよい場所と見ないでほしい場所を伝える、文字だけのファイルです。5

ホームページ全体を断るときは、次の2行を書きます。14

  1. User-agent: Google-Extended
  2. Disallow: /

一部の場所だけ断ることもできます。Googleの例は、Disallow: /archive/ で「archive」の中を断り、その中の特定の1つだけを Allow で許す形です。1

ファイル名は robots.txt（すべて小文字）で、ホームページの最上位の階層（例: https://自社のドメイン/robots.txt）に置き、文字コードはUTF-8にします。5

変わること、変わらないこと

Google-Extendedは、Googleが集めた内容を、Geminiの学習と、回答の根拠として添えるかどうかを決めます。1

項目Google-Extendedで決められるか
Geminiアプリと、Gemini向けの開発者サービス（Vertex AI）の、将来のモデルの学習に使うか決められる
Geminiアプリなどの回答の根拠として、ホームページの内容を添えるか決められる
Google検索への掲載決められない（変わらない）
Google検索の順位決められない（変わらない）

新しいプログラムが見に来るのではなく、ふだんのGoogleのクローラーが集めた内容の使い道を指定します。1

Googleは、Google-Extendedを明示的に許したサイトは、Geminiアプリの回答に表示され、クリックされる対象になると案内しています。2

断ったときに回答への表示がどうなるかは、確かめた2つのGoogleの文書に説明がありません。すでに学習に使われた分の扱いも、書かれていません。

OpenAIとAnthropicは、学習用と検索用を分けている

AIの会社ごとに、robots.txtへ書く名前が違います。

会社学習検索の回答に表示利用者の依頼で開く
GoogleGoogle-Extended（回答の根拠に添える分も、同じ名前で決める）1Geminiアプリの回答はGoogle-Extendedで決める。Google検索の表示は別で、変わらない1確かめた文書には載っていない
OpenAIGPTBot3OAI-SearchBot3ChatGPT-User3
AnthropicClaudeBot4Claude-SearchBot4Claude-User4

OAI-SearchBotを断ったサイトは、ChatGPTの検索の回答に表示されなくなります。案内のリンクとして出ることはあります。3学習だけ断って検索には出したいなら、GPTBotだけを断ります。3

ChatGPT-Userは、利用者が頼んだときにページを開くもので、robots.txtの決まりが当てはまらないことがあります。3

ClaudeBotを断ると、これから集めるページを学習の材料から外すよう、Anthropicに伝えられます。4書き方の型はGoogle-Extendedと同じで、User-agent: ClaudeBot と Disallow: / の2行です。4

Claude-SearchBotを断ると、検索用に内容を取り込まなくなり、検索結果に出にくくなることがあります。Claude-Userを断ると、利用者の質問に応じてページを取得しなくなり、そこでの表示が減ることがあります。4

2027年の対応を目指す共通の書き方

Googleは2026年10月30日に、複数のAI会社に学習の可否を一度で伝える、共通の書き方に対応する計画を発表しました。IETF（インターネットの標準を決める団体）の作業部会AIPREFの案がもとです。2

項目内容
対応の時期2027年を目指す。まだ使えない2
書き方に使う文字列__usage_ai-training（Googleの文書では2027年の初め）1
今ある設定との関係Google-Extendedなどの会社ごとの設定も、あわせて使える2
共通の書き方だけを書いた場合Googleは、Google-Extendedも断ったものとして扱う予定2
ほかのAI会社の対応Googleは、ほかのAI会社と一緒に2027年の対応を目指すと書いている。各社の時期は書かれていない2

いま断りたいなら、Google-Extendedを書けば足ります。共通の書き方の対応を待つ必要はありません。2

書く前に確かめること

robots.txtは、アクセスを防ぐ仕組みではなく、クローラーへのお願いです。5

  • ホームページのrobots.txtを自分で編集できるか（ホームページ作成サービスによっては、サービス側に確かめる必要があります）
  • 学習を断る範囲が、ホームページ全体か、一部の場所か
  • Geminiの回答に表示されなくなっても困らないか

断るか許すかは、会社の事情で決まります。

文章を商品として売る会社（記事や資料を売るホームページ）は断り、お店の場所や営業時間を知ってもらうのが目的の会社は許す、という分け方が考えられます。ただし、どちらが得かは、公式の文書では示されていません。

ホームページの記事づくりは、AI秘書に任せられます

AIの会社が増えれば、robots.txtも書き足す場面が出てくると考えられます。

ブログやお知らせの記事を書く仕事は、当サイトのAI秘書の集客・発信で引き受けています。

関連する記事は3つあります。

ホームページの仕事を任せられるか、30分で確かめる

ホームページの設定は、たまにしか触らないのに、間違えると困ります。AIに任せる範囲を先に決めておくと安全です。

無料AI業務診断（30分のオンライン相談）では、その仕事を任せられるかを一緒に確かめます。気になる仕事があれば、相談のページから申し込んでください。

出典

  1. Google's common crawlers（Google Search Central）（参照 2026-11-01）
  2. Supporting a shared AI training control for websites（Google Search Central Blog）（参照 2026-11-01）
  3. Overview of OpenAI Crawlers（OpenAI）（参照 2026-11-01）
  4. Does Anthropic crawl data from the web, and how can site owners block the crawler?（Claude Help Center）（参照 2026-11-01）
  5. RFC 9309 Robots Exclusion Protocol（IETF）（参照 2026-11-01）