AIボットに対して「開きすぎ」または「適切に閉じている」サイトを定義する公式ソースはありません。どのソースも仕組み（robots.txt、Content Signals、aipref、IPフィード、逆引きDNS、Web Bot Auth、WebMCP）を提供するだけで、選択はサイト運営者に委ねています。そのバランスを採点するツールは（国内外を問わず）ありません。

答えられなかった問い

AIクローラーがログに現れるようになれば、「自分のサイトはAIに開きすぎていないか」と問うのは当然です。私のスキャナーは独自の採点基準を作りません。すべての判定は公式の仕様かツールに基づいている必要があります。そのため、答える前に公式の物差しが必要でした。

調べた資料

2026年10月22日に、次の資料を読みました。

• robots.txtの標準であるRFC 9309。
• AI利用に関する意向表明（aipref、バージョン08。この文書自体が、合意を反映したものではないと明記しています）とWeb Bot AuthのIETFドラフト。
• Content Signals。
• Cloudflareの検証済みボットのポリシー。
• OpenAI、Anthropic、Google、Perplexity、Appleのクローラーに関するページ。
• 日本からは、文化庁の「AIと著作権に関する考え方について」（2024年3月）とそのチェックリストおよびガイダンス（2024年7月）、そしてAI事業者ガイドライン第1.2版（2026年3月）。
• 国内外のLLMOツールやエージェント対応度ツール数件の公開ページ。

わかったこと

あったのは仕組みだけでした。robots.txt、Content Signals、aipref、公開IPリスト、逆引きDNS、Web Bot Auth、WebMCP。どれも開け方・閉じ方は教えてくれますが、どの程度が適切かは教えてくれません。

判断に最も近いものは文化庁の資料にありました。主要な学習用クローラーをrobots.txtでブロックすることは、著作権法第30条の4を検討する際に挙げられている要素の一つです。これは一つの選択についての法的な論点であり、バランスの尺度ではありません。AI事業者ガイドラインは、robots.txtにもクローラーにもまったく触れていません。

確認したツールは、サイトをどの程度閉じるべきかについて何も公開していません。あるエージェント対応度チェッカーは、要素が存在するかどうかを採点しますが、その選択が理にかなっているかどうかは採点しません。最も近いのはCloudflareのAI Crawl Controlです。Cloudflare上のサイトに対して、ボットごとに、クロール量とそのボットが送り返す訪問者数を比較して示します。それでも、決めるのはあなたです。

スキャナーにとって何が変わるか

私のスキャナーは、開いている側と閉じている側の両方を測定します。それぞれを公式の基準と並べ、仕様が存在する場合にのみ判定を出します。「開きすぎ」かどうかは、引き続きあなたが判断することです。それは、何を売っていて誰に届けたいかによって変わります。

できること

まとめてではなく、ボットごとに決めてください。たとえばOpenAI、Anthropic、Perplexityは、学習用、検索用、ユーザーの依頼でページを取得する用に別々のクローラーを運用しており、各社のクローラーページにそれぞれの名前が記載されています。学習はブロックしつつ検索は許可することができ、robots.txtでそのように指定できます。どの組み合わせがあなたに合っているかは、どの公式ソースも教えてくれません。

これが証明しないこと

• 「見つからなかった」は「存在しない」ではありません。見落とした資料があるかもしれません。
• 知的財産推進計画2026、およびACPとAP2の仕様は、まだ直接読んでいません。

開いている側と閉じている側の両面を、私のラボサイトで測定しています：AIに対して開く・閉じる。