검색 결과는 목록이라 순위를 셀 수 있습니다. 그런데 AI가 답변을 만들어 주는 환경에서는 목록 자체가 없습니다. 그래서 "몇 위인가" 대신 "그 답변 안에 있었나"를 세야 하는데, 이것을 측정 가능한 형태로 바꾸는 일이 생각보다 까다롭습니다.
한 숫자로 합치면 안 됩니다
먼저 세 가지를 나눠야 합니다. 브랜드명이 답변 본문에 등장했는가(언급), 우리 도메인이 출처로 붙었는가(인용), 선택지로 제시되었는가(추천). 이 셋은 다른 사건입니다. 언급만 있고 링크가 없는 경우, 링크는 있는데 이름이 없는 경우가 모두 존재합니다. 합쳐서 하나의 점수로 만들면 무엇이 움직였는지 알 수 없게 됩니다.
모델마다 판정식이 달라야 합니다
어떤 모델은 출처 링크를 촘촘히 붙이고, 어떤 모델은 본문에 이름만 녹여 씁니다. 검색을 실제로 수행하는 모델과 학습된 지식으로만 답하는 모델도 다릅니다. 근거 목록을 반환하는 모델은 그 목록을 확인해야 하고, 그렇지 않은 모델은 본문 텍스트로만 판정해야 합니다. 같은 기준을 모든 모델에 적용하면 숫자가 왜곡됩니다.
가장 흔한 오탐 세 가지
- 부분 문자열 — 짧은 브랜드명이 다른 단어 안에 들어가 잡히는 경우
- 동명 업체 — 지역이 다른 같은 이름을 우리로 세는 경우
- 부정 문맥 — "그곳은 아니고"처럼 부정형 안에서 이름이 등장하는 경우
이 셋만 걸러도 수치가 크게 달라집니다. 측정값이 갑자기 좋아지거나 나빠졌다면 현상보다 판정식을 먼저 의심하는 편이 맞습니다.
질문을 고정해야 비교가 됩니다
AI 답변은 같은 질문에도 매번 조금씩 달라집니다. 한 번의 조회로 판정하면 착시가 생깁니다. 질문 세트를 고정하고 같은 조건에서 회차를 반복해 추세로 읽어야 합니다. 질문을 자주 바꾸면 지표가 아니라 다른 것을 재게 됩니다.
검색 순위와 같이 움직이지 않습니다
검색 상위에 있으면 AI도 인용할 것 같지만 어긋나는 구간이 넓습니다. 검색은 문서 단위의 적합도를 보고, 생성 모델은 답변을 만들 때 추출하기 쉬운 조각을 씁니다. 그래서 순위 지표를 그대로 인용 지표로 쓰면 판단이 어긋납니다.
인용에 유리한 문서의 조건
- 질문에 대한 답이 앞부분에 직접 나오는 구조
- 소제목이 질문형이거나 판단 기준을 담은 문서
- 수치·기준·절차가 목록이나 표로 정리된 문서
- 출처가 명시된 문서
문체의 문제가 아니라 구조의 문제입니다. 같은 내용이라도 결론이 먼저 오고 기준이 목록으로 정리된 문서가 답변에 실리기 쉽습니다.
자주 묻는 질문
Q. 얼마나 자주 재야 하나요?
개입 단위에 맞추는 편이 실용적입니다. 개입 전 기준선 한 회차, 개입 후 한 회차 — 이 짝이 있어야 인과를 분리해 볼 수 있습니다.
Q. 숫자가 안 움직이면 무엇을 봐야 하나요?
질문 세트가 실제 수요와 맞는지, 겨냥한 주제에 문서가 있는지, 그 문서가 수집되고 있는지 순서로 확인합니다.
Q. 순위 지표를 대신 쓰면 안 되나요?
두 시스템이 보는 것이 달라 어긋나는 구간이 넓습니다. 별도로 재는 편이 정확합니다.
정리
AI 검색 대응에서 콘텐츠와 구조화 데이터부터 손대는 경우가 많은데, 기준선이 없으면 그 작업의 효과를 알 수 없습니다. 질문 세트를 정하고 한 회차를 돌려 지금 숫자를 확보하는 것이 순서상 먼저입니다. 측정 체계를 어떻게 설계하는지는 인용 측정 방법을 정리한 글에서 자세히 다루고 있습니다.
무엇을 보고할 것인가
경영진이나 고객사에 보고할 때 순위표를 대신할 형태가 필요합니다. 다음 네 가지면 상태와 방향이 함께 보입니다.
- 질문 세트 전체에서의 인용률(회차별 추세)
- 층별 분해 — 언급·인용·추천이 각각 어떻게 움직였는지
- 모델별 차이 — 한 모델만 좋아진 것인지, 전반적인지
- 인용된 문서 — 어떤 글이 근거로 쓰였는지
마지막 항목이 콘텐츠 전략과 직결됩니다. 어떤 글이 실제로 인용되는지 알면 다음에 무엇을 써야 하는지가 정해지고, 반대로 인용이 전혀 없는 주제는 접근 방식을 바꿔야 한다는 신호가 됩니다.
숫자가 안 움직일 때 확인할 순서
측정을 시작하면 처음 몇 회차는 변화가 거의 없는 것이 보통입니다. 그때 무엇을 손댈지 순서가 있습니다. 질문 세트가 실제 수요와 맞는가, 겨냥한 주제에 우리 문서가 존재하는가, 그 문서가 수집되고 있는가, 마지막으로 판정식에 오탐이나 누락이 있는가. 이 순서를 건너뛰고 콘텐츠부터 늘리면 원인을 모른 채 비용만 커집니다.
정리 — 측정이 먼저입니다
AI 검색 대응 이야기를 하면 콘텐츠와 구조화 데이터부터 손대는 경우가 많습니다. 그런데 기준선이 없으면 그 작업이 효과가 있었는지 알 수 없습니다.
- 질문 세트를 고정하고 한 회차를 돌려 지금 숫자를 확보합니다
- 언급·인용·추천을 나눠서 셉니다
- 모델별로 판정식을 다르게 둡니다
- 오탐 세 가지(부분 문자열·동명 업체·부정 문맥)를 먼저 거릅니다
- 개입 전후로 회차를 짝지어 비교합니다
이 순서를 지키면 무엇이 효과였는지 분리해 볼 수 있고, 반대로 건너뛰면 콘텐츠를 아무리 늘려도 무엇 때문에 움직였는지 설명할 수 없게 됩니다.