방문자는 늘었는데 매출은 그대로? AI 봇, 모두 막아도 될까?
최근 홈페이지 방문자나 트래픽이 급격히 늘어서 놀라신 적 있나요? 그런데 문의와 매출은 그대로였던 적은요?
숫자 뒤에 누가 있는지 살펴볼 때입니다. 고객이 아니라 사이트의 정보를 수집하는 자동 프로그램이 늘었을 수 있습니다. Cloudflare는 2026년 9월 30일, 자사 네트워크에서 AI 에이전트의 일일 요청이 지난 1년간 1,700% 이상 증가했다고 밝혔습니다.
이런 요청은 곧바로 구매로 이어지지 않습니다. 반복 수집이 몰리면 서버 자원을 소모하고, 사용량에 따라 요금을 내는 서버에서는 비용까지 늘어납니다.
AIB도 겪었습니다. 2026년 9월 17일 밤(한국시간) 자동화 프로그램이 사이트를 훑었고, 일일 전체 요청은 전날 약 29만 건에서 109만 건으로 늘었습니다. 하루 인프라 비용은 3.1배가 됐습니다. 10월에도 다른 자동화 접속 패턴이 나타나 방화벽으로 대응했습니다.
늘어난 트래픽이 모두 고객은 아니었습니다. 그렇다면 봇을 모두 막으면 될까요?
검색·학습·스팸 구분하기
검색엔진과 AI가 우리 글을 읽어야 고객에게 소개할 기회가 생깁니다. 반대로 과도한 수집을 그대로 두면 비용이 쌓입니다. 기준은 ‘봇인가’보다 ‘무엇을 하러 왔는가’입니다.
먼저 세 가지로 나눠 보세요.
| 구분 | 무엇을 하나요? | 운영자가 결정할 것 |
|---|---|---|
| 검색 | 페이지를 수집해 검색 결과와 AI 답변의 출처로 연결합니다 | 고객 유입에 필요한 공개 페이지는 읽을 수 있게 유지 |
| 학습 | 수집한 콘텐츠를 AI 모델 개발·개선에 사용합니다 | 우리 콘텐츠의 학습 이용을 허용할지 선택 |
| 스팸성 수집 | 불필요한 반복 요청, 과도한 스크래핑, 무단 복제 등으로 부담을 줍니다 | 요청 속도 제한과 방화벽으로 대응 |
검색·학습은 목적이고 스팸성 수집은 행동입니다. 검색용 봇이라도 과도한 요청으로 서비스에 부담을 주면 속도를 조절해야 합니다.
주요 봇 설정표
학습 이용을 거부하려면 사이트 담당자에게 “공개 페이지의 검색 접근은 유지하고, 아래 항목별로 학습 거부를 설정해 주세요”라고 요청하세요. robots.txt는 사이트 최상위 경로에 두는 수집 안내 파일입니다.
| 서비스 | 검색·사용자 요청용 봇 | 학습 관련 제어 | 담당자에게 요청할 설정 |
|---|---|---|---|
| Googlebot | Google-Extended | robots.txt의 Google-Extended 항목에 Disallow: / 적용. Googlebot의 공개 페이지 접근은 유지 | |
| ChatGPT | OAI-SearchBot / ChatGPT-User | GPTBot | robots.txt의 GPTBot 항목에 Disallow: / 적용. 검색용 OAI-SearchBot은 유지. ChatGPT-User에는 robots.txt가 적용되지 않을 수 있음 |
| Claude | Claude-SearchBot / Claude-User | ClaudeBot | robots.txt의 ClaudeBot 항목에 Disallow: / 적용. 검색과 필요한 사용자 요청은 별도 유지 |
| Perplexity | PerplexityBot / Perplexity-User | 두 봇은 기반 모델 학습용이 아님 | 검색 노출을 원하면 PerplexityBot 접근 유지. 사용자 요청용 Perplexity-User는 일반적으로 robots.txt를 따르지 않음 |
| Bing·Copilot | bingbot | NOARCHIVE 메타 태그 | 일반 Bing 검색은 유지하면서 AI 답변·학습 이용을 거부하려면 페이지에 NOARCHIVE 설정. Copilot 답변 이용도 함께 제외. 단, NOCACHE가 함께 있으면 NOCACHE가 우선하므로 기존 태그도 확인하세요. |
| 네이버 | Yeti | 별도 학습 제어 항목은 공식 확인되지 않음 | robots.txt에서 Yeti의 공개 페이지 접근 유지. 서치어드바이저에서 수집 가능 여부 검사 |
| Apple | Applebot | Applebot-Extended | robots.txt의 Applebot-Extended 항목에 Disallow: / 적용. Apple 검색용 Applebot 접근은 유지 |
| Common Crawl | CCBot: 공개 웹 데이터셋 수집 | CCBot | 데이터셋 수집을 원하지 않으면 robots.txt의 CCBot 항목에 Disallow: / 적용 |
Google-Extended는 Gemini의 학습뿐 아니라 일부 답변 근거 활용도 제어합니다. Google 검색 노출에는 영향을 주지 않습니다. 설정할 때 기존 비공개 경로 제한은 그대로 보존하세요.
robots.txt는 수집 안내이고, 방화벽은 실제 문을 잠그는 장치입니다. 안내를 무시하는 반복 요청은 방화벽과 요청 속도 제한으로 막아야 합니다. 봇 이름만 믿지 말고 공식 IP 정보 등으로 요청 주체를 확인한 뒤, 접근 허용 여부를 판단하세요.
Cloudflare의 Training 설정에서 Block을 선택하면 Googlebot·Bingbot·Applebot의 검색 접근도 차단됩니다. 검색을 유지하며 학습을 거부하려면 Disallow AI Training을 구분해 쓰세요. 다만 Bing의 robots.txt 학습 거부 지원은 2027년 초 목표이므로, 현재는 표의 NOARCHIVE를 별도로 설정해야 합니다.
AI 에이전트도 막혔습니다
이름이 알려진 수집 봇만 관리하면 끝일까요? 사람 대신 브라우저를 조작하는 AI도 있습니다. 상품을 비교하고, 가격을 확인하고, 문의 페이지를 찾아옵니다.
AIB는 Linux 환경에서 들어오는 스팸성 접속을 막았다가 Muse 등 일부 AI 에이전트의 접속까지 막힌 경험이 있습니다. 문제는 다시 열어 주는 일이었습니다. 해당 요청을 특정 에이전트로 구분할 식별 정보가 없어, 필요한 에이전트만 골라 허용하기 어려웠습니다.
스팸을 막는 문이 고객의 AI 에이전트까지 막을 수 있다는 뜻입니다.
운영체제 하나로 정상과 스팸을 가르기보다 반복 요청의 속도와 패턴, 확인 가능한 요청 주체를 함께 보세요. 차단을 바꾼 뒤에는 고객이 쓰는 AI로 상품 조회와 문의 경로가 실제 열리는지도 확인해야 합니다.
SEO부터 NEO까지
봇을 허용하는 이유는 결국 고객에게 발견되기 위해서입니다. 낯선 약어도 다음 질문으로 바꾸면 쉬워집니다.
| 이름 | 실무에서 던질 질문 | 먼저 할 일 |
|---|---|---|
| SEO | 구글이 내 글을 읽고 검색 결과에 보여 주는가? | 수집·색인 상태를 확인하고 고객 질문에 맞는 제목과 본문 정리 |
| AEO | 검색 화면의 AI 답변에 우리 정보가 인용되는가? | 질문에 바로 답하는 문장과 확인 가능한 근거 제공 |
| GEO | ChatGPT·Perplexity가 답할 때 우리 원문을 출처로 삼는가? | 직접 만든 자료·사례·최신 정보를 읽기 쉬운 페이지로 공개 |
| LLMO | AI가 우리 브랜드와 서비스를 정확히 설명하는가? | 공식 소개·제품명·가격·사실관계를 일관되게 관리 |
| NEO | 네이버 검색과 AI 브리핑에서 우리 정보가 발견되는가? | 네이버 수집 상태와 원문 품질 점검 |
여기서 NEO는 네이버 노출을 살피기 위한 표현입니다. 이 다섯 가지는 서로 겹칩니다. 별개의 비법을 다섯 번 적용하기보다 고객의 질문에 답하는 정확한 원문을 만들고, 필요한 검색 경로를 열어 두는 것부터 시작하세요.
AI가 검색해서 우리 글을 인용하는 것과 모델이 그 내용을 학습하는 것은 다릅니다. 학습을 허용한다고 브랜드를 기억하거나 추천해 주는 것도 아닙니다. 수집 허용은 노출의 출발점이지 인용·순위의 보장이 아닙니다.
비용과 유입 점검하기
담당자에게 세 가지만 확인해 달라고 하세요.
- 무엇이 늘었나요? 방문자·문의·구매와 서버 요청·전송량·비용을 나란히 봅니다. 서버 요청 증가를 고객 증가로 계산하지 않습니다.
- 누가 무엇을 하러 왔나요? 검색, 학습, 스팸성 수집을 나누고 사람을 대신한 AI 접근도 확인합니다.
- 차단 뒤 무엇이 달라졌나요? 비용이 줄었는지와 함께 검색 수집·AI 조회·문의 경로가 살아 있는지 확인합니다.
홈페이지 자체의 검색 준비는 AI 검색에 우리 회사가 안 나온다면? 홈페이지 점검 5가지에서 이어서 볼 수 있습니다.
많이 들어오는 것보다 누가 들어와 무엇을 남기는가가 중요합니다. 비용을 키우는 수집은 제한하고, 고객이 우리를 찾는 길은 남겨 두세요.
AI를 어디에 적용할지 고민이라면 AIB와 현재 업무·예산부터 정리해 보세요. AIB에 문의하기
출처와 참고 자료
봇 설정은 2026년 10월 20일 확인한 공식 문서 기준입니다.
- 트래픽 변화: Cloudflare, The Internet has a second audience
- 차단과 학습 거부: Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training
- Google: List of Google's common crawlers · Optimizing your website for generative AI features on Google Search
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity Crawlers
- Microsoft: Announcing new options for webmasters to control usage of their content in Bing Chat
- 네이버: robots.txt 설정하기 · AI 브리핑 소개
- Apple: About Applebot
- Common Crawl: CCBot
- AIB 운영 기록: 요청·비용은 UTC 기준 2026년 9월 16일과 17일의 전체 일일 집계. 10월 반복 수집 대응 및 Muse 접속 차단은 AIB의 실제 운영 경험.