AI 크롤러가 우리 사이트를 읽고 있는지 확인하는 법
한 줄 요약
robots.txt에서 GPTBot이나 ClaudeBot을 허용했다고 해서 AI가 실제로 사이트를 읽고 있다는 뜻은 아니다. 크롤러 접근 허용은 읽을 수 있는 자격을 주는 것이고, 실제로 읽었는지는 서버 로그나 측정 도구로 따로 확인해야 한다.
AI 크롤러를 허용하면 AI가 우리 사이트를 인용하나
robots.txt에서 GPTBot이나 ClaudeBot을 차단하지 않으면 AI가 우리 사이트를 읽고 답변에 인용할 것이라고 생각하기 쉽다. 하지만 크롤러 접근을 허용하는 것과 실제로 크롤링되는 것은 다르다.
robots.txt는 크롤러에게 읽을 수 있는 권한을 주는 파일이다. 크롤러가 실제로 방문했는지, 어떤 페이지를 읽었는지는 별도로 확인해야 한다. 대행사에 맡기고 보고만 받는 마케팅 담당자라면 이 차이를 모르고 넘어가는 경우가 많다.
robots.txt에서 AI 크롤러 허용 여부를 어떻게 확인하나
robots.txt 파일은 사이트 최상위 주소 뒤에 /robots.txt를 붙여 확인한다. 예를 들어 https://example.com/robots.txt 처럼 브라우저 주소창에 직접 입력하면 된다.
파일 안에서 User-agent: GPTBot, User-agent: ClaudeBot, User-agent: PerplexityBot, User-agent: Google-Extended 같은 줄을 찾는다. 이 줄 아래에 Disallow: /가 있으면 해당 크롤러를 차단한 것이고, 없거나 Allow: /가 있으면 허용한 것이다.
아무 설정도 없으면 기본적으로 허용 상태다. 대행사에서 robots.txt를 건드리지 않았다면 대부분 허용 상태로 남아 있다.
크롤러를 허용했는데 실제로 방문했는지 어떻게 확인하나
크롤러 접근을 허용했다고 해서 AI가 실제로 사이트를 읽은 것은 아니다. 실제 방문 여부는 서버 로그에서 확인할 수 있다.
서버 로그는 호스팅 업체 관리자 페이지에서 다운로드하거나 조회할 수 있다. 로그 파일에서 GPTBot, ClaudeBot, PerplexityBot, Google-Extended 같은 문자열을 검색하면 해당 크롤러가 언제, 어떤 페이지를 읽었는지 기록이 나온다.
대행사에 호스팅까지 맡긴 경우 직접 로그에 접근하기 어렵다. 이때는 대행사에 "AI 크롤러 접근 기록을 확인해달라"고 요청하면 된다. GPTBot이나 ClaudeBot이 최근 한 달 동안 방문한 적이 있는지, 어떤 페이지를 읽었는지 물어보면 된다.
로그 확인이 어렵다면 무료 진단으로 AI 크롤러 접근 여부를 바로 확인할 수 있다.
크롤러가 방문했는데도 AI 답변에 안 나오는 이유는 뭔가
서버 로그에 GPTBot 방문 기록이 있어도 ChatGPT 답변에 우리 사이트가 인용되지 않을 수 있다. 크롤러가 읽은 것과 AI가 인용하는 것은 별개 과정이다.
AI는 크롤링한 페이지 중에서 질문에 맞는 내용을 골라 인용한다. 페이지 제목, 본문 구조, 내용의 명확성이 부족하면 읽혔어도 인용되지 않는다. 특히 이미지 위주 페이지, 텍스트가 적은 페이지, 중요한 내용이 JavaScript로만 표시되는 페이지는 크롤링되어도 인용 확률이 낮다.
또 다른 이유는 경쟁 사이트가 더 명확한 답을 제공하는 경우다. 같은 주제를 다룬 페이지가 여러 개 있으면 AI는 그중 가장 구조화되고 단정적인 문장이 있는 곳을 우선 인용한다.
대행사 보고서에서 AI 크롤러 관련 항목을 어떻게 확인하나
대행사 월간 보고서에 AI 크롤러 관련 내용이 들어 있는지 확인한다. 보통 SEO 보고서에는 구글 검색 유입, 키워드 순위 같은 항목만 있고 AI 크롤러 접근 여부는 빠져 있다.
보고서에 없다면 다음 항목을 추가 요청할 수 있다.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended 방문 기록 (최근 1개월)
- 각 크롤러가 읽어간 페이지 목록 (상위 10개)
- robots.txt 설정 현황
이 항목들은 서버 로그에서 추출할 수 있는 기본 정보다. 대행사에서 "확인이 어렵다"고 하면 호스팅 관리자 권한이 없거나, 로그 보관 기간이 짧게 설정된 경우일 수 있다.
대행사 성과 보고에 AI 검색 지표를 넣는 방법에서 구체적인 요청 방법을 확인할 수 있다.
AI가 실제로 우리 사이트를 인용하는지 어떻게 측정하나
크롤러 방문 기록만으로는 AI 답변에 실제로 인용되는지 알 수 없다. 인용 여부는 직접 질문을 던져보거나 측정 도구를 써야 한다.
가장 간단한 방법은 우리 사업과 관련된 질문을 ChatGPT, Claude, Gemini, Perplexity에 직접 입력해보는 것이다. "서울 강남 피부과 추천", "기업 홈페이지 제작 업체" 같은 질문에 우리 브랜드나 사이트가 언급되는지 확인한다.
하지만 이 방법은 질문마다 답변이 달라지고, 한 번 확인으로는 경향을 알기 어렵다. Check-X는 고객이 물어볼 질문 5개를 만들고 AI 4사에 각 5회씩 총 100회 질문해 브랜드 언급 비율을 집계한다. 대신 인용된 경쟁 사이트도 함께 기록해 우리가 빠진 이유를 비교할 수 있다.
전체 리포트는 9,900원에 1회 측정할 수 있고, 월간 구독은 6,900원에 매달 같은 질문으로 재측정해 추이를 확인할 수 있다.
자주 묻는 질문
robots.txt에서 AI 크롤러를 차단하면 기존 검색 순위에도 영향을 주나요?
GPTBot이나 ClaudeBot 같은 AI 전용 크롤러를 차단해도 구글이나 네이버 검색 순위에는 영향을 주지 않습니다. 이들은 별도 크롤러를 사용하기 때문입니다. 단, Google-Extended를 차단하면 구글의 AI 기능(SGE 등)에서 제외될 수 있지만 일반 검색 결과에는 영향이 없습니다.
AI 크롤러 방문 기록이 없으면 사이트에 문제가 있는 건가요?
크롤러 방문 기록이 없다고 해서 사이트에 기술적 문제가 있는 것은 아닙니다. AI 크롤러는 모든 사이트를 매일 방문하지 않으며, 업데이트 빈도나 콘텐츠 양에 따라 방문 주기가 다릅니다. 신규 사이트거나 콘텐츠가 적으면 방문 빈도가 낮을 수 있습니다.
AI 크롤러를 허용했는데 몇 개월째 방문 기록이 없다면 어떻게 하나요?
sitemap.xml이 제대로 등록되어 있는지 먼저 확인하세요. 구글 서치 콘솔에 사이트맵을 제출하면 크롤러가 페이지를 발견할 확률이 높아집니다. 또한 페이지에 충분한 텍스트 콘텐츠가 있는지, 중요한 내용이 이미지나 JavaScript로만 표시되지는 않는지 점검해야 합니다.