2026年版：AIクローラー完全ガイド｜28種類のBotを徹底解説

AIクローラーが急増した背景

2022年のChatGPT登場以降、生成AIサービスは急速に普及し、それに伴いWebコンテンツを収集するAIクローラーの種類と数も急増しました。2026年現在、確認されているAIクローラーは28種類以上に上ります。

OpenAI（3種類）

Bot名	User-Agent	用途
GPTBot	GPTBot/1.1	GPT-4o等のモデル学習
OAI-SearchBot	OAI-SearchBot/1.0	ChatGPT検索インデックス
ChatGPT-User	ChatGPT-User/1.0	ChatGPTブラウジング機能

Anthropic（2種類）

Bot名	User-Agent	用途
ClaudeBot	ClaudeBot/0.5	Claudeモデル学習
anthropic-ai	anthropic-ai/1.0	Claude Web検索

Google（2種類）

Bot名	User-Agent	用途
Google-Extended	Google-Extended	Geminiモデル学習
Googlebot	Googlebot/2.1	検索インデックス（AI学習兼用）

Perplexity（1種類）

Bot名	User-Agent	用途
PerplexityBot	PerplexityBot/1.0	Perplexity AI検索

ByteDance（1種類）

Bot名	User-Agent	用途
Bytespider	Bytespider	TikTok AI・Douyin学習

その他主要AIクローラー（19種類）

Bot名	企業
CCBot	Common Crawl（多数のAIモデルに使用）
cohere-ai	Cohere
YouBot	You.com
Diffbot	Diffbot
Amazonbot	Amazon（Alexa AI）
MistralBot	Mistral AI
Applebot-Extended	Apple（Apple Intelligence）
AwarioBot	Awario
TimpiBot	Timpi
DataForSeoBot	DataForSEO
img2dataset	Laion（画像学習）
Omgilibot	Webz.io
VelenPublicWebCrawler	Velen
Scrapy	汎用（AIデータ収集によく使用）
PetalBot	Huawei
SemrushBot	Semrush（分析・AI関連）
BrightBot	Brightbot AI
Meta-ExternalAgent	Meta（Llama学習）
FriendlyCrawler	Common Crawl関連

robots.txtを遵守するBotの分類

robots.txtを遵守すると公言しているBot（遵守型）：GPTBot、ClaudeBot、PerplexityBot、Google-Extended、Amazonbot、cohere-ai

遵守が不確か・しないとされるBot（非遵守型）：Bytespider、一部CCBot、汎用スクレイパー

AI Access Monitorで一括計測

28種類のAIクローラーを手動で管理するのは現実的ではありません。AI Access Monitorは1行のコードを追加するだけで、これらすべてのBotを自動識別・計測します。