Google、AIの学習を各社まとめて断れるrobots.txtの共通設定に対応へ。小さな会社のサイトが知っておきたいこと

何が起きたのか

robots.txt は、サイトのいちばん上の階層に置く小さな設定ファイルで、検索エンジンなどの巡回プログラム（クローラー）に「どのページを見てよいか」を伝えるものです。

これまで、サイトの内容をAIの学習に使われたくない場合は、AIの会社ごとに別々の書き方で指示を書く必要がありました。Googleの場合は、2023年から用意している「Google-Extended」という名前で指定します。

2026年10月30日（米国時間）の発表によると、インターネットの技術標準を話し合う団体 IETF の作業部会の検討をもとに、robots.txt に書く共通の目印（ポリシートークン）を使って、参加するAI会社にまとめて学習の可否を伝えられるようにする案に、Googleが対応する予定です。

• 共通の目印で「学習に使わないで」と書き、Google向けの指定を個別に書いていない場合、Googleはその指定で拒否したのと同じ扱いにする予定です
• これまでの会社ごとの設定は、そのまま使えます。共通の目印で大まかに決め、会社ごとに細かく変えることもできます
• Googleは、ほかの会社とともに2027年の対応を目指すとしています。まだ案の段階で、話し合いが続きます

どんなサイトの担当者に関係するのか

今すぐ設定を変える必要がある話ではありません。ただ、次のようなサイトの担当者は、流れとして知っておく価値があります。

• 自社で書いた解説記事・写真・料金表などを、AIの学習に使われたくないと考えているサイト
• 逆に、AIの答えの中で自社の情報が紹介されることを期待しているサイト
• 制作会社やサーバー会社に任せていて、robots.txt に何が書かれているかを知らないサイト

発表では、この Google向けの指定で許可しているサイトは、Googleの対話型AIアプリの答えの中で根拠として表示され、クリックを受けられる対象になると説明されています。学習を拒否するかどうかは、こうした表示との兼ね合いも含めた判断になります。

百祥の見方：検索への影響と分けて、自社の方針を決めておく

まず押さえておきたいのは、このAI学習向けの指定は検索とは別のものだという点です。Googleの公式ドキュメント「Google の一般的なクローラ」では、この指定が検索でのサイトの登録に影響したり、順位の判断材料に使われたりすることはないと説明されています。AIの学習を拒否しても、それだけで通常の検索結果から消えるわけではありません。

注意したいのは、書き方を間違えて検索のクローラーまで止めてしまうことです。そうなると、検索にページが出にくくなります。小さな会社・店舗のサイトでは、次の順で考えるのがおすすめです。

1. 方針を決める：自社の文章や写真をAIの学習に使われてもよいか、AIの答えの中で紹介されることを優先したいかを、社内で一度決めておきます
2. 検索のクローラーは止めない：学習を拒否する場合も、検索のクローラーは止めない書き方にします
3. 共通の設定は正式に決まってから：今回の共通の目印はまだ案の段階です。書き方が決まり、Googleが対応してから取り入れても遅くありません

今やっておきたい3つの確認

1. 自社の robots.txt を開いてみる：ブラウザで自社サイトの住所の後ろに「/robots.txt」を付けて開くと中身が見られます。思わぬページを止めていないか、AI向けの指定があるかを確かめます
2. 検索のクローラーを止めていないか：Search Console の該当レポートやページの検査で、大事なページがクロールできる状態か確かめます
3. サイトを任せている会社に聞いてみる：制作会社やサーバー会社が設定している場合は、AIの学習についてどんな設定になっているかを一度確認しておきましょう

関連する海外の速報：Googlebotになりすますボットが増えている

確度海外の速報

海外のSEOニュースサイト Search Engine Roundtable は2026年10月30日（米国時間）、Googleの担当者が番組の中で、検索のクローラーになりすますボットの問題がAIの広がりで大きくなっていると話したと伝えました。AIの学習用に文章を集めたい事業者が、検索のクローラーを名乗ってサイトに入り込もうとするためだといいます。

記事によると、この担当者は、この設定ファイルは「お願い」のようなもので、守らないボットもいると説明し、本当に止めたいアクセスはファイアウォールなどの仕組みで防ぐべきだと述べています。本物のクローラーかどうかは、接続元の情報などで確かめられるとGoogleの公式ドキュメントにも書かれています。この設定ファイルは、きちんとした会社に意思を伝える手段で、すべてのアクセスを防ぐものではないと覚えておくと安心です。

まとめ

Googleは、robots.txt の共通の設定で、複数のAI会社にまとめて「AIの学習に使ってよいか」を伝えられる仕組みに、2027年の対応を目指すと発表しました。まだ案の段階で、これまでの会社ごとの設定もそのまま使えます。AI学習向けの指定は検索の登録や順位には影響しないと説明されているので、小さな会社のサイトは、自社の方針を決めたうえで、検索のクローラーを止めていないかを確かめておくのが近道です。検索の順位や表示は保証されるものではありません。robots.txt の見方や、自社サイトの点検で気になる点があれば、百祥にご相談ください。