AI 답변에서 갑자기 사라졌을 때 먼저 볼 세 곳
한 줄 요약
AI 검색 결과에서 브랜드가 갑자기 사라졌다면 robots.txt 설정, 사이트 구조 변경, 경쟁사 콘텐츠 강화 세 가지를 먼저 확인해야 한다. 대부분의 경우 크롤러 차단이나 페이지 이동이 원인이며, 이는 즉시 복구 가능하다.
고객사에서 "ChatGPT에 물어보니까 저희가 안 나와요"라는 연락이 왔을 때, 광고대행사 실무자는 무엇부터 확인해야 할까. AI 검색 결과는 일반 검색과 달리 명확한 순위가 없고, 같은 질문에도 답변이 매번 달라지기 때문에 원인을 찾기 어렵다. 하지만 갑자기 인용이 사라졌다면 대부분 세 곳 중 하나에서 문제가 생긴 것이다.
이 글은 고객사에 보고하기 전 가장 먼저 점검해야 할 지점을 사례 중심으로 정리한다. 특정 시즌이나 알고리즘 변화와 무관하게, 언제든 적용할 수 있는 기본 점검 순서다.
robots.txt에서 AI 크롤러를 차단하고 있지 않은가
AI 크롤러가 접근할 수 없으면 해당 사이트는 AI 답변에 인용되지 않는다. robots.txt 파일에서 GPTBot, ClaudeBot, Google-Extended, PerplexityBot 같은 크롤러를 차단하면 각 AI는 그 사이트의 내용을 학습하거나 인용할 수 없다.
확인 방법은 간단하다. 브라우저 주소창에 고객사도메인/robots.txt를 입력하면 설정 파일을 바로 볼 수 있다. 여기서 아래 항목이 있는지 찾는다.
User-agent: GPTBot아래Disallow: /User-agent: ClaudeBot아래Disallow: /User-agent: Google-Extended아래Disallow: /User-agent: PerplexityBot아래Disallow: /
이 설정이 있으면 해당 크롤러는 사이트 전체를 읽을 수 없다. 특정 경로만 차단했는지도 확인해야 한다. /blog/ 같은 일부 경로만 차단해도 그 안의 콘텐츠는 인용되지 않는다.
실무에서 자주 보는 사례는 개발팀이나 보안팀에서 "봇 차단"을 일괄 적용하면서 AI 크롤러까지 막아버리는 경우다. 고객사가 직접 설정을 바꿀 수 없다면, 개발 담당자에게 위 크롤러 이름을 전달하고 허용을 요청해야 한다.
사이트 구조나 주요 페이지 URL이 최근 바뀌었는가
사이트 리뉴얼, CMS 교체, 도메인 이전 같은 작업 후 AI 인용이 사라지는 경우가 많다. AI는 이전에 크롤링한 URL을 기준으로 답변을 만들기 때문에, 페이지 주소가 바뀌면 이전 정보를 찾을 수 없다.
특히 아래 변경이 있었다면 반드시 확인해야 한다.
- 제품·서비스 상세 페이지 URL 구조 변경
- 블로그·뉴스 게시판 경로 변경
- 도메인 변경 또는 서브도메인 분리
- HTTPS 전환 또는 www 유무 변경
이 경우 301 리디렉션이 제대로 설정되어 있는지 점검한다. 구글 검색에서는 리디렉션이 잘 작동해도, AI 크롤러는 리디렉션 체인이 길거나 일부 경로가 끊기면 페이지를 읽지 못할 수 있다.
확인 방법은 이전에 인용되던 URL을 직접 브라우저에 입력해보는 것이다. 404 오류가 나거나, 여러 단계를 거쳐 리디렉션되거나, 로딩이 느리다면 크롤러도 같은 문제를 겪는다. 고객사에 이전 URL 목록을 요청해 하나씩 접속 테스트를 하고, 문제가 있는 경로는 개발팀에 전달한다.
경쟁사가 같은 주제로 더 구체적인 콘텐츠를 냈는가
AI는 질문에 가장 잘 맞는 출처를 선택한다. 고객사 콘텐츠가 그대로인데 인용이 줄었다면, 경쟁사가 더 상세하거나 최신 정보를 담은 페이지를 만들었을 가능성이 크다.
이를 확인하려면 고객사가 다루는 주제로 직접 AI에게 질문을 던져본다. ChatGPT, Claude, Perplexity에 같은 질문을 하고, 어떤 출처가 인용되는지 기록한다. 이때 질문은 고객이 실제로 검색할 법한 문장으로 만든다.
예를 들어 고객사가 온라인 교육 플랫폼이라면 "직장인 영어회화 학원 추천"이 아니라 "퇴근 후 영어 회화 배우기 좋은 곳"처럼 구체적인 상황을 넣는다. 이렇게 5~10개 질문을 던지고, 인용된 사이트 목록을 정리한다.
인용된 경쟁사 페이지를 열어보고 아래를 비교한다.
- 콘텐츠 분량과 구체성 (예: 가격·기간·조건 명시 여부)
- 최종 업데이트 날짜
- 구조화된 정보 (표, 목록, 단계별 설명)
- 실제 사례나 데이터 포함 여부
경쟁사가 더 나은 정보를 제공한다면, 고객사 콘텐츠를 보강해야 한다. 이때 "콘텐츠를 개선하세요"가 아니라 "경쟁사 A는 가격 비교표를 넣었고, B는 단계별 신청 절차를 스크린샷과 함께 설명합니다"처럼 구체적으로 전달한다.
점검 후 보고 방법
위 세 가지를 확인한 뒤 고객사에 보고할 때는 아래 형식이 유용하다.
- 현재 상태: 어떤 질문에서 인용이 사라졌는지
- 원인: 위 세 가지 중 해당하는 것
- 조치 가능 여부: 즉시 복구 가능한지, 개발 요청이 필요한지
- 예상 복구 시간: robots.txt 수정은 수일 내, 콘텐츠 보강은 수주 소요
고객사 입장에서는 "왜 안 나오는지"보다 "언제 다시 나올 수 있는지"가 더 중요하다. 원인과 함께 복구 일정을 제시하면 신뢰도가 높아진다.
AI 검색 인용 여부를 정기적으로 확인하고 싶다면, 무료 진단으로 크롤러 접근 상태와 기본 항목을 점검할 수 있다. 월간 변화를 추적해야 한다면 구독 리포트로 매달 같은 질문에 대한 인용 비율을 측정할 수 있다.
정리
AI 답변에서 브랜드가 사라졌을 때는 robots.txt 크롤러 차단, 사이트 구조 변경, 경쟁사 콘텐츠 강화 순서로 확인한다. 대부분의 경우 첫 두 가지에서 원인을 찾을 수 있고, 즉시 조치가 가능하다. 세 번째는 시간이 걸리지만, 경쟁사 분석을 통해 구체적인 개선 방향을 제시할 수 있다.
고객사에 보고할 때는 원인과 함께 복구 일정을 명확히 전달하는 것이 중요하다. AI 검색은 아직 변동이 크지만, 기본 점검 항목은 변하지 않는다.
자주 묻는 질문
robots.txt 수정 후 AI 답변에 반영되는 데 얼마나 걸리나요?
크롤러마다 다르지만 보통 수일에서 2주 정도 소요됩니다. GPTBot과 ClaudeBot은 비교적 빠르게 재크롤링하지만, 모든 페이지를 다시 읽는 데는 시간이 걸립니다. 급하다면 sitemap.xml을 함께 점검해 크롤러가 우선 읽어야 할 페이지를 명시하는 것이 좋습니다.
일부 AI에서만 안 나오고 다른 AI에서는 나온다면 어떻게 해야 하나요?
각 AI마다 크롤러가 다르기 때문에 robots.txt에서 특정 크롤러만 차단되어 있을 수 있습니다. 예를 들어 GPTBot만 차단되어 있으면 ChatGPT에서는 인용이 안 되지만 Claude나 Perplexity에서는 나올 수 있습니다. robots.txt에서 각 크롤러별 설정을 개별 확인해야 합니다.
경쟁사 콘텐츠를 분석할 때 몇 개 사이트를 봐야 하나요?
같은 질문에 반복적으로 인용되는 상위 3~5개 사이트를 집중적으로 분석하는 것이 효율적입니다. AI는 보통 2~4개 출처를 주로 인용하므로, 그 사이트들의 공통점을 찾으면 개선 방향을 빠르게 파악할 수 있습니다. 10개 이상 보는 것은 시간 대비 효과가 낮습니다.