OAI-SearchBot（ChatGPT検索）のブロック方法と影響

OAI-SearchBotとは

OAI-SearchBotはOpenAIが2024年に導入したクローラーで、ChatGPTのリアルタイム検索機能（ChatGPT Search）のインデックス作成に使用されています。GPTBot（モデル学習用）とは異なる用途・異なるUser-Agentを持ちます。

User-Agent：OAI-SearchBot/1.0 (+https://openai.com/searchbot)

GPTBotとOAI-SearchBotの違い

クローラー	用途	影響
GPTBot	GPT-4o等のモデル学習データ収集	学習への無断使用
OAI-SearchBot	ChatGPT検索のリアルタイムインデックス	ゼロクリック・引用
ChatGPT-User	ChatGPTのブラウジング機能	リアルタイム参照

ブロック vs 許可の判断

OAI-SearchBotをブロックすると、ChatGPT検索結果に表示されなくなります。マーケティング観点からはChatGPT検索への露出を保つ価値もあります。目的に応じて判断してください。

robots.txtで設定

# GPTBotのみブロック（学習は拒否、検索は許可）
User-agent: GPTBot
Disallow: /

# OAI-SearchBotも拒否する場合
User-agent: OAI-SearchBot
Disallow: /

Next.jsで選択的ブロック

// 学習ボット（GPTBot）はブロック、検索ボット（OAI-SearchBot）は許可
const TRAINING_BOTS = /GPTBot|ClaudeBot(?!.*search)/i;
const SEARCH_BOTS = /OAI-SearchBot|PerplexityBot/i;

export function middleware(request: NextRequest) {
  const ua = request.headers.get("user-agent") ?? "";
  // 学習ボットは402
  if (TRAINING_BOTS.test(ua)) {
    return new NextResponse("License required", { status: 402 });
  }
  return NextResponse.next();
}

AI Access Monitorで把握

AI Access MonitorはGPTBot・OAI-SearchBot・ChatGPT-Userをそれぞれ個別に識別・計測します。どのOpenAIクローラーがどれだけアクセスしているかを正確に把握できます。