YouBot（You.com）とは
YouBotはAI検索エンジン「You.com」のクローラーです。User-Agentは YouBot と表記されており、検索インデックスとAI回答生成のためにWebサイトを収集します。
cohere-ai（Cohere）とは
CohereはエンタープライズAI向けの大規模言語モデルを提供する企業です。User-Agentに cohere-ai を含むクローラーが、モデル学習・RAGシステム用のデータ収集を行います。
MistralBot（Mistral AI）とは
フランスのAI企業Mistral AIのクローラーです。User-Agentは MistralBot で、欧州発のLLM学習データ収集に使用されています。
robots.txtで3種を一括ブロック
User-agent: YouBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: MistralBot
Disallow: /13種のAIボットを一括ブロックするrobots.txt
これら3種に加え、主要なAIボット13種をすべてブロックする完全版robots.txtです：
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: MistralBot
Disallow: /Nginxで3種をまとめてブロック
map $http_user_agent $is_ai_bot {
default 0;
~*YouBot 1;
~*cohere-ai 1;
~*MistralBot 1;
}
server {
if ($is_ai_bot) {
return 403;
}
}自サイトの被収集状況を確認
これらのボットが現在あなたのサイトにアクセスしているかどうかは、AI Access Monitorで無料で確認できます。