BytespiderをブロックするTikTok AIクロール対策

Bytespiderとは

BytespiderはTikTok・CapCutなどを運営するByteDance（字節跳動）が運用するWebクローラーです。ByteDanceのAIサービス向けのデータ収集に使用されており、User-Agentは Bytespider と記載されています。

Bytespiderの問題点

Bytespiderはrobots.txtを遵守しないケースが報告されています。これはGPTBotやClaudeBotなどの「宣言型」クローラーと異なる点です。また、クロール頻度が高く、サーバー負荷を増加させることでも知られています。

robots.txtでの設定

User-agent: Bytespider
Disallow: /

ただし上記の通り、遵守されない場合があります。

Nginxでの強制ブロック（推奨）

if ($http_user_agent ~* "Bytespider") {
  return 403;
}

Cloudflare WAFルール

Cloudflare WAFで http.user_agent contains "Bytespider" をBlock設定します。Cloudflareはリクエストがオリジンサーバーに到達する前にブロックするため、サーバー負荷軽減にも効果的です。

Next.js Middlewareでブロック

const AGGRESSIVE_BOTS = /Bytespider|CCBot/i;

export function middleware(request: NextRequest) {
  const ua = request.headers.get("user-agent") ?? "";
  if (AGGRESSIVE_BOTS.test(ua)) {
    return new NextResponse("Forbidden", { status: 403 });
  }
  return NextResponse.next();
}

IPレンジでのブロック

ByteDanceのASN（AS138699）からのアクセスをfirewall側でブロックする方法も有効です。

AI Access Monitorで実態を把握

AI Access MonitorはBytespiderのアクセスを自動検知・計測します。ブロック前後のアクセス数を比較することで効果を確認できます。