OAI-SearchBot がクロールしているサイトでは、初めて取得する新しいページには主に直前に取得したページからのリンク経由で到達します。サイトマップと ChatGPT-User は副次的な経路です。

知りたかったこと

新しいページを公開したとき、OAI-SearchBot はそれをどうやって見つけるのでしょうか。OpenAI のボットのページには、robots.txt で OAI-SearchBot を許可するようにとしか書かれていません。サイトマップや URL の送信については何も書かれていません。

運用歴のあるサイト

古いベトナム語サイトのサーバーログを、2026 年の約 4 か月分読むことができました。OAI-SearchBot はこのサイトを定期的にクロールしています。この期間に、ボットはサイトの新しいページの 3 分の 2 近くを取得しました。

それらの初回取得の 92% では、リクエストに referer が付いていました。同じサイト内の別のページで、ボットがその中央値 16 秒前に取得したページです。約 6% は、ChatGPT ユーザーがそのページを開いてから 1 分以内に来ていました。残りはどちらにも当てはまりませんでした。

referer あり：同じサイトで中央値16秒前に取得されたページ		92%
ChatGPT のユーザーがページを開いてから1分以内		6%

出典：同じログ（2026年の約4か月分）。サイトの新しいページの初回取得に占める割合で、残りはどちらでもありません。取得はインデックス登録でも引用でもありません。

パターンは単純です。ボットはページを読み、リンクを見つけ、それをたどります。

1. ボットがページを取得するすでに巡回しているサイトのページ
2. そのページにあるリンクを見つけるまだ取得していないページへのリンク
3. リンクをたどる中央値で16秒後。確認できたリンクはすべて同じサイト内
4. 新しいページの初回取得リクエストには、たどってきたページの referer が付いていた

出典：古いベトナム語サイト1つの、2026年の約4か月分のサーバーログ。1つのサイトでの観察であり、実験ではありません。

次に自分のサイトで試しました

10 月 16 日、ChatGPT がすでに引用していたサイト migurei.ai のスキャナーページから、pw.migurei.ai の 2 つのページへ普通のリンクを追加しました。リンクを公開する前に、何をもって成功とみなすかを書き留めておきました。

その後 72 時間、どちらのページにも OAI-SearchBot、Claude-SearchBot、PerplexityBot、ChatGPT-User からのリクエストは 1 件も来ませんでした。スキャナーページからの referer が付いた訪問もありませんでした。

これは反証のように見えますが、そうではありません。その期間にこれらのボットのどれかがスキャナーページを取得したという形跡が私にはなく、読んでいないページのリンクをボットがたどることはできません。また、OAI-SearchBot は pw にほとんど来ておらず、その 3 日間に読んだのは robots.txt だけでした。「リンクが効かない」と「ボットが来なかった」は、どちらもゼロを予測します。

できること

1. 新しいページはすべて、クローラーがすでに取得しているページ(トップページ、カテゴリーページ、お知らせ一覧)からリンクしてください。Google も自社のクローラーについて同じことを勧めています。
2. サイトマップは維持してください。ただし、OpenAI に届く手段としてサイトマップだけに頼らないでください。
3. サーバーログで OAI-SearchBot を探してください。referer フィールドを見れば、どのページからどこへ導かれたかがわかります。

これが証明しないこと

• 1 つのサイトから得た仮説であり、実験ではなく観察です。
• ボットがたどったリンクはすべて同じホスト内にとどまっていました。あるサイトから別のサイトへのリンクをたどるかどうかは未検証で、私自身の試みは判断するには弱すぎました。
• そのログの初回取得全体のうち、約 3 分の 1 は referer も事前の ChatGPT の訪問もありませんでした。それらがどこから来たのかはわかりません。
• 取得はインデックス登録ではなく、ChatGPT での引用でもありません。

詳しい数値は pw のリサーチページ Is ChatGPT reading my site? にあります。