アクセス急増、売上はそのまま？AIボットをどこまでブロックするか

著者: Lucy.·2026年10月20日 (火)
アクセス急増、売上はそのまま？AIボットをどこまでブロックするか

最近、サイトの訪問者やアクセスが急に増えて驚いたことはありませんか。それなのに、問い合わせや売上は変わらなかったことは？

数字の向こうに誰がいるのか、確かめてみましょう。増えたのは顧客ではなく、サイトの情報を集める自動プログラムかもしれません。Cloudflareは2026年9月30日、自社ネットワークでAIエージェントの1日あたりのリクエストが過去1年間に1,700%以上増えたと発表しました。

こうしたアクセスが、そのまま購入につながるわけではありません。繰り返し情報を収集されるとサーバーのリソースが消費され、従量課金のサーバーでは費用も増えます。

AIBも経験しました。2026年9月17日の夜（韓国時間）、自動プログラムがサイトを巡回し、1日の総リクエスト数は前日の約29万件から109万件に増加。1日のインフラ費用は3.1倍になりました。10月にも別の自動アクセスのパターンが現れ、ファイアウォールで対応しました。

増えたアクセスが、すべて顧客だったわけではありません。では、ボットを全部ブロックすればよいのでしょうか。

検索・学習・スパムを分ける

検索エンジンやAIが自社の記事を読めてこそ、顧客に紹介される機会が生まれます。一方、過剰な収集を放置すると費用が積み重なります。判断の軸は「ボットかどうか」よりも、「何をしに来たか」です。

まず、次の3つに分けて考えましょう。

区分何をするもの？運営者が決めること
検索ページを収集し、検索結果やAI回答の出典につなげます集客に必要な公開ページは読める状態にする
学習収集したコンテンツをAIモデルの開発・改善に使います自社コンテンツの学習利用を許可するか選ぶ
スパム的な収集不要な繰り返しリクエスト、過剰なスクレイピング、無断複製などで負荷をかけますリクエストの速度制限やファイアウォールで対応する

検索・学習は目的、スパム的な収集は行動の分類です。検索用のボットでも、過剰なリクエストでサービスに負荷をかけるなら、速度を調整する必要があります。

主なボットの設定表

学習利用を拒否したい場合は、サイト担当者に「公開ページへの検索アクセスは維持し、以下の項目ごとに学習拒否を設定してください」と依頼しましょう。robots.txtは、サイトの最上位の階層に置く、収集ルールを伝えるファイルです。

サービス検索・ユーザーリクエスト用ボット学習に関する制御担当者に依頼する設定
GoogleGooglebotGoogle-Extendedrobots.txtのGoogle-ExtendedにDisallow: /を設定。Googlebotの公開ページへのアクセスは維持
ChatGPTOAI-SearchBot / ChatGPT-UserGPTBotrobots.txtのGPTBotにDisallow: /を設定。検索用のOAI-SearchBotは維持。ChatGPT-Userにはrobots.txtが適用されない場合がある
ClaudeClaude-SearchBot / Claude-UserClaudeBotrobots.txtのClaudeBotにDisallow: /を設定。検索と必要なユーザーリクエストは別途維持
PerplexityPerplexityBot / Perplexity-Userどちらも基盤モデルの学習用ではない検索に表示させたい場合はPerplexityBotのアクセスを維持。ユーザーリクエスト用のPerplexity-Userは通常robots.txtに従わない
Bing・CopilotbingbotNOARCHIVEメタタグ通常のBing検索を維持しつつAI回答・学習利用を拒否するには、ページにNOARCHIVEを設定。Copilotの回答への利用も除外される。ただし、NOCACHEも設定されている場合はNOCACHEが優先されるため、既存のタグも確認してください。
Yahoo!検索（日本）ウェブ検索はGoogleの検索エンジンを利用Yahoo!独自の学習拒否用robots.txt指定は公式に確認できずGooglebotの公開ページへのアクセスとインデックス登録を確認。Yahoo!検索で社名・商品名を検索し、実際の表示も点検
AppleApplebotApplebot-Extendedrobots.txtのApplebot-ExtendedにDisallow: /を設定。Appleの検索用Applebotのアクセスは維持
Common CrawlCCBot：公開ウェブデータセットの収集CCBotデータセットへの収集を希望しない場合は、robots.txtのCCBotにDisallow: /を設定

Google-Extendedは、Geminiの学習だけでなく、一部の回答の根拠としての利用も制御します。Google検索への表示には影響しません。設定の際は、既存の非公開パスへの制限をそのまま残してください。

robots.txtは収集ルールの案内、ファイアウォールは実際に扉を閉める仕組みです。 案内を無視する繰り返しリクエストは、ファイアウォールと速度制限で防ぐ必要があります。ボット名だけで判断せず、公式のIP情報などでアクセス元を確認してから、許可するか決めましょう。

CloudflareのTraining設定でBlockを選ぶと、Googlebot・Bingbot・Applebotの検索アクセスも遮断されます。検索を維持しつつ学習を拒否する場合は、Disallow AI Trainingを使い分けてください。ただし、Bingのrobots.txtによる学習拒否への対応は2027年初めが目標のため、現時点では表のNOARCHIVEを別途設定する必要があります。

AIエージェントまで遮断

有名な収集ボットだけを管理すれば終わりでしょうか。人に代わってブラウザーを操作するAIもあります。商品を比較し、価格を確認し、問い合わせページを探しに来ます。

AIBは、Linux環境からのスパム的なアクセスをブロックした際に、Museなど一部のAIエージェントのアクセスまで遮断したことがあります。困ったのは、再びアクセスを許可するときでした。リクエストを特定のエージェントと識別する情報がなく、必要なエージェントだけを選んで許可するのが難しかったのです。

スパムを防ぐ扉が、顧客のAIエージェントまで閉め出すことがあります。

OSだけで正常なアクセスとスパムを分けず、繰り返しリクエストの速度やパターン、確認できるアクセス元をあわせて見ましょう。ブロック設定を変更した後は、顧客が使うAIで商品情報や問い合わせページに実際にアクセスできるかも確認が必要です。

検索とAIに見つけてもらう

ボットのアクセスを許可する目的は、最終的に顧客に見つけてもらうことです。なじみのない略語も、次の問いに置き換えるとわかりやすくなります。

名称実務で確認すること最初にすること
SEOGoogleやYahoo!検索で、自社の記事が見つかるか？クロール・インデックスの状況を確認し、顧客の疑問に合うタイトルと本文を整える
AEOGoogleやYahoo!検索のAI回答に自社の情報が引用されているか？質問に直接答える文章と、確認できる根拠を用意する
GEOChatGPT・Perplexityが回答するとき、自社の原文を出典にしているか？独自の資料・事例・最新情報を読みやすいページで公開する
LLMOAIが自社のブランドやサービスを正確に説明しているか？公式の紹介文・商品名・価格・事実関係を一貫して管理する

日本向けのサイトなら、GoogleだけでなくYahoo!検索の通常の検索結果とAI回答も確認しましょう。LINEヤフーは、従来のAIアシスタントとLINE AIを統合した「Agent i」も提供しています。社名だけでなく、顧客が使う「地域名＋サービス名」や商品の比較質問で、自社がどう説明され、どのページが参照されるかを点検してください。

これらの対策は互いに重なります。略語ごとの秘策を探すよりも、顧客の疑問に答える正確な原文を作り、必要な検索経路を開けておくことから始めましょう。

AIが検索して自社の記事を引用することと、モデルがその内容を学習することは別です。学習を許可すればブランドを覚えたり、勧めたりしてくれるわけでもありません。収集の許可は、見つけてもらうための出発点であり、引用や順位の保証ではありません。

費用と流入を点検する

担当者に、次の3つを確認してもらいましょう。

  1. 何が増えたか？ 訪問者・問い合わせ・購入と、サーバーのリクエスト数・転送量・費用を並べて見ます。サーバーへのリクエスト増加を、顧客の増加として数えないようにします。
  2. 誰が、何をしに来たか？ 検索・学習・スパム的な収集を分け、人に代わるAIのアクセスも確認します。
  3. ブロック後に何が変わったか？ 費用が減ったかだけでなく、検索のクロール、AIによる閲覧、問い合わせへの経路が使えるかも確認します。

サイト自体の検索対策については、AI検索に自社が出てこない？ホームページの点検ポイント5つで続きを確認できます。

アクセスの多さより、誰が訪れ、何につながったかが大切です。費用を増やす収集を制限し、顧客が自社を見つける道は残しておきましょう。

AIをどこに活用するか迷っているなら、AIBと現在の業務や予算から整理してみませんか。韓国語のお問い合わせフォーム

出典・参考資料

ボットの設定は、2026年10月20日に確認した公式ドキュメントに基づいています。