Parallel World スキャナー（migurei-ParallelWeb）について
サーバーログでこのアクセスを見つけた方へ
このクローラーは、AI アシスタントが日本のサイトをどう読み取るかを調べるため、公開ページだけを読み取り専用で取得しています（robots.txt に従い、フォームの送信やログインはしません）。御社のサイトが AI からどう見えるかの考え方は、AI アシスタントは、あなたの会社をどうやって知るのかで説明しています。
概要
Parallel World は、Migurei（HBLAB）が運営するサービスです。Web サイトが AI エージェント（学習用のクローラーから、取引を行うエージェントまで）にとってどの程度利用しやすいかを測定します。本スキャナーは、その測定に必要な情報を公開ページから取得します。Parallel World の背景については、記事「AI アシスタントは、あなたの会社をどうやって知るのか」もあわせてご覧ください。
User-Agent
本スキャナーは、次の User-Agent でアクセスします（下記「例外」を除く）。
migurei-ParallelWeb/0.1 (+https://migurei.ai/ja/scanner; research@migurei.ai)アクセスの範囲
- 対象
- トップページ、カテゴリーページ（1 件まで）、詳細ページ（1 件まで）と、robots.txt、サイトマップ、llms.txt、.well-known 配下のファイル
- 取得方法
- HTML をそのまま取得する方法と、JavaScript を実行するヘッドレスブラウザで表示する方法の 2 通りで取得します。
- 読み込み回数
- 遅延読み込みや A/B テストによる表示の違いを考慮し、各ページを 3 回読み込みます。
- 表示環境
- 言語 ja-JP、タイムゾーン Asia/Tokyo、固定の画面サイズ
- 頻度
- 週 1 回
- 間隔
- 同一ドメインへのリクエストは、少なくとも 2〜3 秒の間隔をあけて送信します。
- 量
- 1 回のスキャンで本スキャナーが自ら送信するリクエストは 50 件以下です。ページの表示中にそのページ自身が読み込む画像やスクリプトなどのリソースは、これとは別の上限で管理しています。
robots.txt への対応
本スキャナーは、robots.txt のトークン migurei-ParallelWeb に従います。サイト全体へのアクセスをご希望でない場合は、robots.txt に次のように記述してください。
User-agent: migurei-ParallelWeb
Disallow: /スキャンでは最初に robots.txt を取得します。トップページ（/）へのアクセスが拒否されている場合は、その時点でスキャンを終了し、サイトマップ、llms.txt、.well-known 配下のファイルも取得しません。この場合、下記の User-Agent による到達確認も外部サービスでの検査も行いません。記録するのは、robots.txt で拒否されているという事実のみです。
行わないこと
- フォームの送信
- カートへの追加、注文
- 会員登録、ログイン
- CAPTCHA の解答、ボット検知の回避
- robots.txt で Disallow されたページへのアクセス
- ブロックを避ける目的での User-Agent や IP アドレスの変更（下記「例外」の到達確認は、ブロックの回避ではなく確認のみを目的としています）
アクセスがブロックされた場合は、ブロックされたという事実のみを記録します。
例外：AI サービスの User-Agent による到達確認
AI サービスがサイトに到達できるかを確認するため、スキャンの中で次のリクエストを送信します。
- 対象はトップページのみです。主な AI サービスの User-Agent（6〜8 種類）で、それぞれ 1 回ずつリクエストを送信します。
- User-Agent の文字列は、各社が公開しているものを使います。一部の User-Agent（Anthropic 社の Claude-User など、文字列が全文公開されていないもの）は、当社の検証環境のログで確認した文字列を使います。
- 記録するのは、HTTP ステータスコード、ボット対策のチャレンジ画面（CAPTCHA など）の有無と種類、応答開始までの時間（TTFB）のみです。ページの内容は保存しません。
- 再試行や IP アドレスの変更は行いません。送信元は本スキャナーと同じ IP アドレスです。そのため、検出できるのは User-Agent に基づくブロックのみです。
- これらのリクエストの User-Agent には migurei-ParallelWeb が含まれないため、サーバーのログでは AI サービスからのアクセスのように見えます。これらは AI サービス自身によるアクセスではなく、本スキャナーが同じスキャンの中で送信したものです。
外部の検査サービス
Cloudflare URL Scanner による検査結果は、Cloudflare Radar 上で公開されます。これを望まない場合は、上記の robots.txt の記述で、外部サービスでの検査も含めて停止できます。
スキャンの一部として、次の外部サービスに検査を依頼します。これらのアクセスは各サービスから、各サービスの User-Agent で行われます。
- Cloudflare URL Scanner（同一サイトにつき 7 日間に 1 回まで）
- Google PageSpeed Insights
本スキャナーが確認している AI ボット（レジストリ bots-2026-10-19 時点）
サーバーログ上のアクセスが、各社のボットによるものかを見分けるために本スキャナーが使っている一覧です。Parallel World のボットレジストリから自動で作成しています。
確認方法：『IP 公開リスト』は運営会社が公開する IP アドレス範囲で照合、『UA のみ』は User-Agent 文字列だけで判断します。
| ボット名 | 運営会社 | グループ | 確認方法 | 公式ドキュメント |
|---|---|---|---|---|
| GPTBot | OpenAI | 学習 | IP 公開リスト | developers.openai.com |
| OAI-SearchBot | OpenAI | 検索 | IP 公開リスト | developers.openai.com |
| ChatGPT-User | OpenAI | ユーザー操作（利用者の依頼で取得） | IP 公開リスト | developers.openai.com |
| OAI-AdsBot | OpenAI | その他・不明 | IP 公開リスト | developers.openai.com |
| Claude-SearchBot | Anthropic | 検索 | IP 公開リスト | support.claude.com |
| Claude-User | Anthropic | ユーザー操作（利用者の依頼で取得） | IP 公開リスト | support.claude.com |
| ClaudeBot | Anthropic | 学習 | IP 公開リスト | support.claude.com |
| anthropic-ai | Anthropic | 学習 | IP 公開リスト | support.claude.com |
| Perplexity-User | Perplexity | ユーザー操作（利用者の依頼で取得） | IP 公開リスト | docs.perplexity.ai |
| PerplexityBot | Perplexity | 検索 | IP 公開リスト | docs.perplexity.ai |
| Google-Extended※ | 学習 | IP 公開リスト | developers.google.com | |
| Gemini-Deep-Research | ユーザー操作（利用者の依頼で取得） | IP 公開リスト | developers.google.com | |
| Google-CloudVertexBot | その他・不明 | IP 公開リスト | developers.google.com | |
| GoogleOther | その他・不明 | IP 公開リスト | developers.google.com | |
| Googlebot | 検索 | IP 公開リスト | developers.google.com | |
| Google-InspectionTool | 検索 | IP 公開リスト | developers.google.com | |
| bingbot | Microsoft | 検索 | IP 公開リスト | www.bing.com |
| Applebot-Extended※ | Apple | 学習 | IP 公開リスト | support.apple.com |
| Applebot | Apple | 検索 | IP 公開リスト | support.apple.com |
| DuckDuckBot | DuckDuckGo | 検索 | IP 公開リスト | duckduckgo.com |
| CCBot | Common Crawl | 学習 | IP 公開リスト | commoncrawl.org |
| meta-externalagent | Meta | 学習 | UA のみ | developers.facebook.com |
| meta-externalfetcher | Meta | ユーザー操作（利用者の依頼で取得） | UA のみ | developers.facebook.com |
| meta-webindexer | Meta | 検索 | UA のみ | developers.facebook.com |
| meta-externalads | Meta | その他・不明 | UA のみ | developers.facebook.com |
| facebookexternalhit | Meta | その他・不明 | UA のみ | developers.facebook.com |
| Amazonbot | Amazon | 学習 | UA のみ | developer.amazon.com |
| Bytespider | ByteDance | 学習 | UA のみ | — |
| MistralAI-User | Mistral AI | ユーザー操作（利用者の依頼で取得） | UA のみ | docs.mistral.ai |
| YouBot | You.com | 検索 | UA のみ | docs.you.com |
| ExaSearchBot | Exa | 検索 | UA のみ | crawler.exa.ai |
| cohere-ai | Cohere | その他・不明 | UA のみ | — |
| xAI-SearchBot※ | xAI | その他・不明 | UA のみ | — |
| GrokBot、xAI-Grok※ | xAI | その他・不明 | UA のみ | — |
| DeepSeekBot※ | DeepSeek | その他・不明 | UA のみ | — |
| Qwenbot※ | Alibaba | その他・不明 | UA のみ | — |
| ChatGLM-Spider※ | Zhipu AI | その他・不明 | UA のみ | — |
| Diffbot | Diffbot | その他・不明 | UA のみ | — |
| ShapBot | Parallel Web Systems | 検索 | IP 公開リスト | docs.parallel.ai |
| Shap-User | Parallel Web Systems | ユーザー操作（利用者の依頼で取得） | UA のみ | parallel.ai |
| TikTokSpider | ByteDance | その他・不明 | UA のみ | — |
| coccocbot | Cốc Cốc | 検索 | UA のみ | help.coccoc.com |
| YandexBot | Yandex | 検索 | UA のみ | yandex.com |
| PetalBot | Huawei | 検索 | UA のみ | webmaster.petalsearch.com |
※ 運営会社の公式文書で User-Agent 文字列を確認できていない名称、または robots.txt 上の指定名（アクセス元としてはログに現れないもの）です。
公式ドキュメント欄の『—』は、運営会社の公式な説明ページを確認できていないものです。
お問い合わせ
本スキャナーについてのお問い合わせは、次のアドレスまでご連絡ください。
調査ノート
当社の検証用サイト（pw.migurei.ai）で、AI ボットがいつ訪れたかを記録した調査を公開しています。ボットの判定には、サーバーのログと、本スキャナーのボット一覧と同じ検証済みの IP アドレス範囲を使っています。お客様のサイトのスキャン結果は含まれません。