마케팅에서 AI로 데이터를 분석하고 근거 있는 의사결정을 내리는 모범 사례는 무엇입니까? 황금률은 한 줄로 정리됩니다. 그 뒤에 있는 데이터를 보여 줄 수 있기 전까지 모든 AI 결론은 가설로 취급하라는 것입니다. 나머지, 즉 질문을 제대로 설정하고, 소스를 한데 모으고, 팀이 함께 검토하는 일은 모두 이 규칙을 모든 분석을 감사로 만들지 않고도 지키게 하기 위해 존재합니다.
이 문제는 이미 계약서까지 들어왔습니다. Digiday에 따르면 에이전시들은 마스터 서비스 계약을 다시 쓰는 대신 조항 단위로 AI를 반영해 가고 있습니다. 변화를 촉발하는 것은 세 가지입니다. 클라이언트가 에이전시의 자체 AI 도구 이용 권한을 요청하는 경우, 특정 AI 문구의 추가를 요청하는 경우, 클라이언트 프로젝트에 새로운 AI 기반 도구가 쓰이는 경우입니다. 로펌 Reed Smith의 파트너 Keri Bruce는 간단히 말합니다. “결국 사람들은 공개를 원합니다. 어떤 도구가 쓰이는지 알고 싶어 합니다.”
어떤 도구를 썼는지 아는 것은 첫걸음입니다. 다음 단계는 모든 어카운트 디렉터가 회의에서 들어 봤을 더 불편한 질문입니다. “그건 어떻게 압니까?” 답이 “AI가 그렇다고 합니다”라면, 인사이트가 아무리 훌륭해도 가치는 매우 낮습니다.
AI 기반 분석은 왜 불신을 낳습니까?
흔히 추적 경로 없이 도착하기 때문입니다. 깔끔한 요약, 자신 있는 결론 세 개, 그리고 원본 데이터로 돌아가는 길은 없습니다. 클라이언트는 자신이 보는 것이 탄탄한 해석인지, 아무도 검증하지 않은 그럴듯한 종합인지 구분할 수 없습니다.
여기에 사일로가 더해집니다. 소셜 리스닝은 한 팀에, 캠페인 데이터는 다른 팀에, CRM은 클라이언트 쪽에 있고, 경쟁사 광고는 덱 속 스크린샷으로 존재합니다. AI는 넣어 준 것만 분석하므로 부분적인 소스는 부분적인 결론을 낳고, 팀마다 자기만의 현실 버전을 들고 회의에 나옵니다.
그 결과는 너무나 익숙합니다. 수치를 맞추느라 보내는 시간, 어느 숫자가 이길지 정하는 회의, 만일을 위해 어느 것도 신뢰하지 않는 클라이언트입니다.
밑바닥의 문제: 정보 비대칭
경제학자 George Akerlof가 유명한 “레몬 시장”으로 대중화한 정보 비대칭 이론(Information Asymmetry Theory)은 한쪽이 다른 쪽보다 훨씬 많이 알 때 어떤 일이 벌어지는지 설명합니다. 구매자는 좋고 나쁨을 가려낼 수 없으니 모든 것을 불신하고 모든 것에 값을 덜 치릅니다.
AI도 마찬가지입니다. 클라이언트가 결론에 이른 과정을 볼 수 없으면, 좋은 결론까지 포함해 모든 결론의 가치를 깎아 봅니다. 시기도 이보다 나쁠 수 없습니다. Digiday에 따르면 AI는 업무에 필요한 시간을 줄이고 에이전시의 시간 기반 청구 모델을 뒤흔듭니다. 일은 시간이 덜 걸리는데 신뢰까지 덜 얻게 되면, 마진은 양쪽에서 쥐어짜입니다.
비대칭은 에이전시 내부에도 존재합니다. 애널리스트는 분석을 어떻게 했는지 알고, 어카운트 디렉터는 모르며, 크리에이티브 팀은 더 모릅니다. 두 경우 모두 해법은 같습니다. 증거를 공유하는 것입니다. 모두가 같은 데이터를 보고 같은 것을 확인할 수 있을 때 협업이 비효율을 이깁니다.
AI 결론이 검증 가능하려면 무엇이 필요합니까?
분석을 클라이언트에게 보내기 전에 이 표를 체크리스트로 쓰면 됩니다.
| 기준 | “블랙박스” 결론 | 검증 가능한 결론 |
|---|---|---|
| 출처 | “AI가 그렇다고 합니다” | 특정 게시물, 광고, 레코드로 연결되는 링크 |
| 범위 | 소스, 규모, 기간 없음 | 소스, 분석 규모, 날짜를 명시 |
| 추론 | 관찰과 해석이 뒤섞임 | 본 것과 추론한 것을 구분 |
| 반론 | 뒷받침하는 증거만 제시 | 반대되거나 단서를 다는 내용도 포함 |
| 검토 | 한 사람이, 기록 없이 | 전략, 미디어, 어카운트 팀이 검토 |
| 재현 가능성 | 반복 불가능 | 팀의 다른 사람이 같은 결과에 도달 |
| 회의에서 | 권위로 방어 | 사례로 방어 |
AI 데이터 분석 모범 사례, 단계별로
- 데이터가 아니라 의사결정에서 출발합니다. 질문과, 답에 따라 무엇을 다르게 할지를 적어 둡니다. 어떤 답도 아무것도 바꾸지 못한다면 그 분석은 필요하지 않습니다.
- 소스를 한곳에 모읍니다. 소셜 리스닝, 경쟁사 광고, 캠페인 데이터, 가능하다면 클라이언트 데이터까지. 기반이 덜 파편화될수록 결론의 편향도 줄어듭니다.
- 관찰과 해석을 분리합니다. “많은 댓글이 가격을 언급한다”는 관찰입니다. “가격이 구매를 가로막고 있다”는 해석입니다. 도구에 둘을 따로 제시하도록 요구합니다.
- 원본 데이터까지의 추적 가능성을 요구합니다. 모든 결론은 그것을 뒷받침하는 게시물, 광고, 레코드까지 추적할 수 있어야 합니다. 예를 들어 Defy Monitor에서는 모든 AI 결론이 그 뒤에 있는 실제 게시물로 이어지는데, 전략을 설문이 아니라 오디언스와 경쟁사가 실제로 게시하는 것에서 역설계하기 때문입니다.
- 반대 증거를 찾아 나섭니다. 결론과 모순되는 것이 무엇인지 묻습니다. 아무것도 나오지 않는다면 의심해 봐야 합니다. 표본이 작거나 질문이 유도적이었다는 뜻입니다.
- 발표 전에 팀이 함께 검토합니다. 전략, 미디어, 어카운트가 같은 사례를 보며 보내는 15분이 몇 주의 오해를 막아 줍니다.
- 도구, 소스, 날짜를 문서화합니다. Digiday에 따르면 클라이언트가 요구하기 시작한 바로 그것, 즉 어떤 도구가 쓰이는지와 자사 데이터가 어떻게 다뤄지는지입니다.
데이터 수집부터 팀 단위 조회까지 이 워크플로가 어떻게 구성되는지 보고 싶다면 Defy 플랫폼을 살펴보시기 바랍니다.
에이전시에서 데이터 사일로를 어떻게 허뭅니까?
주간 회의를 하나 더 만드는 것으로는 안 되고, 공유된 증거 기반이 있어야 합니다. 전략, 미디어, 크리에이티브, 어카운트가 같은 소스를 참조하면 논쟁은 어느 숫자가 맞는지가 아니라 그것으로 무엇을 할지로 옮겨 갑니다.
그 기반을 조회하는 일이 한 사람에게 달려 있지 않다면 큰 도움이 됩니다. 애널리스트만 대시보드를 다룰 수 있다면 사일로는 그대로입니다. 이제 사람의 모습을 하고 있을 뿐입니다. 데이터에 쉬운 말로 질문할 수 있는 도구는 접근 권한을 넓히고, 그와 함께 검증의 책임도 넓힙니다.
계약서와 발표에는 무엇을 담아야 합니까?
계약은 이미 움직이고 있습니다. Digiday에 따르면 Mile Marker는 메타데이터 관리, AI 생성 콘텐츠의 지식재산권, 사용 도구에 관한 투명성 조항을 조정했고, Go Fish는 지난 6개월 사이 브랜드 세이프티와 데이터 보호 조항을 추가했습니다. 클라이언트는 자사 데이터가 어떻게 저장되고 쓰이는지, 사람의 감독이 어떻게 이뤄지는지, 어떤 도구가 관여하는지 알고 싶어 한다고 이 매체는 요약합니다.
다음 갱신을 기다릴 필요 없이 세 가지를 약속해 두는 것이 합리적입니다.
- 증거 부록: 모든 산출물에 첨부해 각 결론 뒤의 소스와 사례를 보여 줍니다.
- 검토 이력 표기: 누가 언제 분석을 검토했는지 명시합니다.
- 도구 인벤토리: 어떤 AI를 무엇에, 어떤 데이터와 함께 썼는지 기록합니다.
같은 기사에서 VML의 Brian Yamada는 표준 계약 문구를 쓰기 전에 AI에 대한 표준 비용 구조부터 합의해야 한다고 경고하며, 조건을 다시 검토할 수 있는 유연성을 넣어 둘 것을 조언합니다. 그 표준이 나오기 전까지 투명성은 어떤 계약서에도 아직 들어 있지 않은 최고의 조항입니다.
