日本の上位1,000サイトはAIボットをどう扱っているか：週次の数値（2026年11月）
2026年11月2日（月）、私は2週連続で同じ上位1,000の.jpドメインを集計しました。3つの数値（GPTBotをブロックしているサイト76件、実際のllms.txtを持つサイト30件、当方のrobots.txtリクエストに403を返したサイト63件）は、いずれも前週から1〜2サイトずつ動きました。興味深いのは動きそのものではなく、数値がどこに置かれているかです。
2回目の月曜日、ほぼ同じ答え
2026年11月2日の日本時間04:17から06:11にかけて、私のスキャナーは前週の月曜日と同じ1,000ドメインからrobots.txtと/llms.txtを取得しました。対象は、TrancoリストW3ZV9の順位順で最初の1,000の.jpドメインです。何かが動くと予想していましたが、ほとんど何も動きませんでした。
- 1,000ドメイン毎週同じ Tranco リスト（W3ZV9）
- /robots.txt を1回ずつ GET日本の IP から署名付き、読み取りのみ
- 719サイトでボットごとの判定が出る403、5xx、別ドメインの robots.txt は除く
- 「/」を拒否しているサイトを数えるGPTBot：11月2日は719のうち76、10月26日は74
出典：census の週次公開CSV、.jp 上位1,000ドメイン、2026年10月26日と11月2日。分母は週や行によって違います。
3つの数値、2回の月曜日
- GPTBot。 2026年11月2日、robots.txtで判定が得られた719サイトのうち76サイト（10.6%）が、トップページ（/）についてGPTBotをdisallowしています。2026年10月26日は719サイト中74サイト（10.3%）でした。
- llms.txt。 11月2日、自ドメイン上で調べられた782サイトのうち30サイト（3.8%）が実際の/llms.txtファイルを持っています。10月26日は777サイト中29サイト（3.7%）でした。
- robots.txtへの403。 11月2日、自ドメインから応答した792サイトのうち63サイト（8.0%）が、当方の署名付きのrobots.txtリクエストに403を返しました。10月26日は788サイト中61サイト（7.7%）でした。
第44週から第45週への推移：GPTBot 74 → 76、llms.txt 29 → 30、robots.txtの403 61 → 63。
- robots.txt で GPTBot を拒否
- 第44週（10月26日）
- 719 サイト中 74
- 第45週（11月2日）
- 719 サイト中 76
- 本物の llms.txt（自ドメイン）
- 第44週（10月26日）
- 777 サイト中 29
- 第45週（11月2日）
- 782 サイト中 30
- robots.txt が当社のスキャナーに 403
- 第44週（10月26日）
- 788 サイト中 61
- 第45週（11月2日）
- 792 サイト中 63
出典：census の週次公開CSV、.jp 上位1,000ドメイン、2026年10月26日と11月2日。2週は2点で、傾向ではありません。
他の39のボットを含む完全な表は調査ページにあります：https://pw.migurei.ai/en/research/japanese-sites-and-ai-bots。今週のデータのファイル：https://pw.migurei.ai/data/japanese-sites-and-ai-bots/2026-W45.csv。
719は719でも、同じ719ではない
GPTBotの分母は両週とも719です。私はそれが同じサイトを意味すると思い込んでいました。そうではありません。ある月曜日に応答しなかったサイトは判定ありのグループから外れ、別のサイトが戻ってきます。私の再集計では、2つのサイトが2回の月曜日の間に実際に自らのGPTBotの行を変更し、別の2つのサイトは読み込みエラーによって719に出入りして互いに相殺していました。つまり74 → 76は、毎週わずかに異なるグループの中での、小さな実際の変化です。
同じ数値、3つの置き場所
これらの数値は複数の場所で公開されており、検索エンジンはそれらの場所を同じようには扱いません。2026年10月31日、サイトマップを送信してから72時間後の時点で、Googleはこのブログの28 URLのうち17件を、Bingは28件中20件をインデックスしていました。GitHub Pages上の別プロジェクトのホストへの同種の送信に対しては、Googleは11 URLすべてについて「URL is unknown to Google」と回答しました。そのため、pwの調査ページが原本であり、この記事は経緯を伝えるだけです。
できること
- 自サイトの/robots.txtと/llms.txtを普通のブラウザで開いてください。200を返してもそのファイルではないページは、llms.txtではありません。CSVではそれらを別に数えています。
- robots.txtが自動リクエストに403を返す場合、ボットはルールをまったく読めません。オブジェクトストレージでは、403は単にファイルが存在しないことを意味する場合もあります。
- 自サイトをこれらの数値と比べるときは、まず分母を比べてください。719、782、792はそれぞれ異なるサイトのグループです。
これらの数値が言っていないこと
これらの数値が示すのは、719のrobots.txtファイルがトップページについてGPTBotに何を求めているかを、1週間の間隔で見たものです。GPTBotがそれに従うこと、訪問すること、あるいはこれが日本のウェブの振る舞いであることを示すものではありません。
出典
これは自社ラボでの観察です。生データはここでは公開していません。
この記事で証明していないこと
当方が測定・集計したもので、独立した検証は受けていません。今週の件数は2回のスキャナー実行から得たものです（1回目は途中で停止しました）。GPTBotとrobots.txtの403の数値は、独立した再集計でも同じ結果になりました。
2週分は2つの点であり、傾向ではありません。1〜2サイトの変動は、読み込みエラーだけでも生じうる範囲内です。
1,000ドメインは1つのランキング（TrancoリストW3ZV9）の上位であり、日本のウェブ全体ではありません。そのうち719がrobots.txtの判定を返し、残りの281はGPTBotの数値の分母に含まれていません。
robots.txtは要請であってブロックではなく、チェックの対象はトップページ（/）のみです。GPTBotが実際にどう動くかは示していません。
403は、サイトが当方の署名付きスキャナーをどう扱ったかであり、GPTBotをどう扱うかではありません。また、オブジェクトストレージではファイルが存在しないことを意味する場合があります。
2つのホストは、運用期間、Search Consoleのプロパティ、内部リンク、再送信の有無が異なるため、インデックス数はホストの違いだけが差を生んだことを示すものではありません。インデックスに載っていることは、AIアプリがそのページの名前を挙げることと同じではありません。