Google-Extendedとは
Google-ExtendedはGoogleが2023年に導入した独立したUser-Agentで、GeminiモデルをはじめとするGoogle AIの学習データ収集に特化したクローラーです。従来のGooglebotとは別に動作し、robots.txtで個別に制御できます。
User-Agent: Google-Extended
Googlebotとの違い
| クローラー | 用途 | robots.txtで制御 |
|---|---|---|
| Googlebot | 検索インデックス | 可（ブロックすると検索除外） |
| Google-Extended | AI学習データ収集 | 可（検索順位に影響なし） |
重要：Google-Extendedをブロックしても、Google検索のインデックスには影響しません。SEOを維持しながらAI学習データ提供を拒否できます。
robots.txtでブロック
# Google検索は許可、AI学習のみ拒否
User-agent: *
Allow: /
User-agent: Google-Extended
Disallow: /特定ディレクトリのみブロック
User-agent: Google-Extended
Disallow: /blog/
Disallow: /docs/
Allow: /Next.js robots.tsで設定
import { MetadataRoute } from "next";
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{ userAgent: "*", allow: "/" },
{ userAgent: "Google-Extended", disallow: "/" },
],
sitemap: "https://yourdomain.com/sitemap.xml",
};
}AI Access Monitorで計測
Google-Extendedがあなたのサイトを何回クロールしているか、AI Access Monitorでリアルタイム確認できます。設定変更後のブロック効果も数値で確認できます。