AI가 에이전시의 시간과 비용을 실제로 절약해 주는지 어떻게 알 수 있을까요? 무엇이든 켜기 전에 성공이 어떤 모습인지 정하십시오. 지금의 업무를 측정하고, 변화를 정당화할 개선폭을 정하고, AI 워크플로를 기존 방식과 비교 테스트한 뒤, 결과물을 검수하고 고치는 데 쓴 시간을 포함한 전체 비용을 검토하십시오.
전체 비용은 갈수록 외면하기 어려워지고 있습니다. 독일 업계지 Horizont에 실린 기고문에서 에이전시 Mutabor의 임원 두 명은 공짜 AI라는 동화는 끝났다고 주장합니다. 이들은 전문적인 AI 작업이 많은 프로세스를 엄청나게 빠르게 하지만 상당한 컴퓨팅 파워를 소모한다고 씁니다. Mutabor는 이제 클라이언트 제안서에 AI 컴퓨팅 비용을 별도 항목으로 표시하며, 이를 “M-Credit”이라고 부릅니다.
컴퓨팅이 공짜가 아니라면 그 주변의 사람의 시간도 공짜가 아닙니다. 이번 주 싱가포르 AI 도입 세션에서 한 에이전시 창업자가 둘 다 계산하는 간단한 프레임워크와, 그것이 왜 중요한지 보여 주는 주간 리포트 이야기를 공유했습니다.
에이전시에서 AI ROI는 왜 이렇게 측정하기 어려울까요?
대부분 아무도 출발점을 적어 두지 않았기 때문입니다. 에이전시는 자사 프로세스의 시간을 거의 재지 않습니다. 월간 리포트에 시간이 얼마나 걸리는지 물으면 “하루쯤”, “클라이언트마다 달라요”라는 대답이나 어깨를 으쓱하는 반응이 돌아옵니다.
그러다 AI가 눈에 띄는 절감 효과를 안고 등장합니다. 초안은 몇 분 만에 나옵니다. 아무도 재지 않는 것은 그다음에 벌어지는 모든 일입니다. 수치를 확인하고, 해설을 다시 쓰고, 엉뚱한 달을 인용한 차트를 고치고, 클라이언트의 맥락을 다시 설명하는 일입니다. 이 시간은 여러 사람과 여러 날에 흩어져 있어서 비용으로 드러나지 않습니다.
그 결과 모두가 믿고 싶어 하지만 어느 쪽 증거도 없는 이야기만 남습니다.
“도입 전에 성공 기준을 정의한다”는 무슨 뜻일까요?
창업자의 프레임워크는 네 단계이며, 다이어그램에서 보듯 순서대로 진행됩니다. 단계마다 그의 슬라이드에 나온 질문이 하나씩 붙어 있습니다.
| 단계 | 질문 | 측정할 것 | 주간 클라이언트 리포트에 적용하면 |
|---|---|---|---|
| 1. 기준선 | 지금 업무가 어떻게 돌아가는가? | 사이클당 시간, 관여한 사람, 오류와 재작업 | 현재 리포트를 처음부터 끝까지 몇 주 동안 시간을 잼 |
| 2. 목표 | 어떤 개선이 도입을 정당화하는가? | 사전에 합의한 구체적인 수치 | 사람이 검수하는 조건으로 리포트당 1시간 |
| 3. 테스트 | 기존 방식과 비교 | 같은 업무, 두 가지 방법, 같은 품질 기준 | 실제 리포트에서 AI 워크플로를 수작업과 나란히 실행함 |
| 4. 검토 | 전체 비용을 들일 가치가 있었는가? | 검수와 수정을 포함한 모든 시간, 그리고 도구 및 컴퓨팅 비용 | 초안 작성 시간만이 아니라 편집 시간까지 계산함 |
어느 것도 정교하지 않습니다. 그게 핵심입니다. 단계가 너무 기본적이라서 도입을 서두르다 보면 가장 먼저 건너뛰게 됩니다.
한 에이전시가 주간 리포트를 자동화하자 어떤 일이 벌어졌을까요?
창업자의 사례에서 한 마케팅 에이전시는 AI가 주간 리포트를 맡아 주기를 원했습니다. 목표는 분명했습니다. 사람이 결과물을 확인하는 조건으로 1시간까지 줄이는 것이었습니다. 서류상으로는 AI 워크플로가 더 저렴해 보였습니다.
그러다 검토 단계가 왔습니다. 환각, 즉 확신에 찬 어조로 제시된 틀린 수치를 고치는 데 약 4시간이 더 들었습니다. 순이익은 없었습니다.
기준선과 목표가 없었다면 그 에이전시는 아마 승리를 선언했을 것입니다. 초안 작성은 더 빨라졌고, 도구는 인상적이었습니다. 시간이 작성에서 수정으로 옮겨 갔을 뿐이라는 것은 전체 비용 검토를 거쳐서야 드러났습니다. 많은 에이전시에서 그 수정은 더 시니어인 사람에게 돌아가기도 합니다. 수치가 어떠해야 하는지 아는 것은 그들뿐이기 때문입니다.
AI 드래그란 무엇이며 어떻게 알아챌 수 있을까요?
AI 드래그는 창업자가 쓰는 용어로, AI가 만든 결과물을 편집하는 데 처음부터 제대로 했을 때보다 더 많은 시간을 쓰는 시점을 뜻합니다. 많은 AI 파일럿에 붙는 숨은 세금이며 좀처럼 스스로 드러나지 않습니다. 다음 징후를 살펴보십시오.
- 초안 작성 시간은 줄지만 편집 시간은 조용히 늘어납니다.
- 예전에는 일상 업무였던 결과물을 확인하느라 시니어가 불려 옵니다.
- 같은 수정이 매주 반복됩니다.
- “중요한” 클라이언트에는 다시 예전 방식으로 돌아갑니다.
- 도구가 무엇을 절약하는지는 아무도 말하지 못하고, 무엇을 만들어 내는지만 말합니다.
두 가지 이상이 보이면 멈추고 검토 단계를 다시 실행하십시오. AI 드래그가 AI를 포기할 이유는 아닙니다. 규모를 키우기 전에 워크플로, 데이터, 지시문을 고쳐야 한다는 신호입니다.
이런 일은 왜 되풀이될까요?
경제학자들은 가격이 진짜 비용을 반영하지 않아 자원이 엉뚱한 곳으로 흘러가는 현상을 시장 실패라고 부릅니다. “공짜” AI는 에이전시 내부에서 교과서적인 사례입니다. 이용권은 싸고, 컴퓨팅 비용은 보이지 않으며, 검수 시간은 누구의 예산에도 잡혀 있지 않습니다. 무언가 공짜처럼 보이면 필요 이상으로, 어울리지 않는 곳에까지 쓰게 됩니다.
Horizont가 설명하는 Mutabor의 M-Credit은 가격 신호입니다. 숨은 비용 하나를 클라이언트에게 보이게 만듭니다. 에이전시는 내부에서도 같은 규율이 필요합니다. 검수와 수정 시간을 타임시트에 올리십시오. 컴퓨팅 비용을 계산하십시오. 그러면 효율은 눈에 보이는 것이 되고, 이 글의 바탕이 된 인사이트도 성립합니다. 효율은 혁신의 어머니입니다. 진짜 절감은 더 나은 일을 위한 진짜 시간을 만들어 냅니다.
리포팅 워크플로에서 기준선, 목표, 테스트, 검토를 어떻게 진행할까요?
- 반복되는 리포트 하나를 고르십시오. 주간이든 월간이든, 클라이언트 하나에 형식이 안정적인 것이어야 합니다.
- 한 달 동안 시간을 재십시오. 데이터를 쫓고 오류를 고치는 일까지 포함해 모든 단계와 모든 사람의 시간입니다. 이것이 기준선입니다.
- 구축하기 전에 목표에 합의하십시오. 리포트당 시간과 허용 가능한 오류율을 어카운트 리드와 함께 문서로 적어 두십시오.
- 검수자를 지정하십시오. 품질을 책임지고 검수에 걸리는 시간을 기록하는 한 사람입니다.
- 두 방식을 병행해서 실행하십시오. 여러 사이클 동안 같은 데이터, 같은 품질 기준으로 진행합니다.
- 전체 비용을 검토하십시오. 초안 작성, 검수, 수정, 도구 비용, 컴퓨팅 비용을 기준선과 비교하십시오.
- 결정하십시오. 확대, 개선, 중단. 목표를 달성하면 확대하십시오. AI 드래그가 나타나면 입력을 고치십시오. 둘 다 통하지 않으면 중단하고 다른 업무를 고르십시오.
출시 후 에이전시는 무엇을 예산에 잡아야 할까요?
테스트를 통과했다고 완성된 제품은 아닙니다. 창업자의 마무리 조언은 완성된 약속이 아니라 변화를 위해 구축하라는 것이었습니다. 무엇을 구축하든 지속적인 투자와 전담 자원이 필요합니다. 모델이 바뀌고, 클라이언트가 KPI를 바꾸고, 플랫폼이 데이터를 바꾸기 때문입니다.
이는 직접 구축할지 구매할지와 직결됩니다. 자체 리포팅 자동화를 구축하면 그것이 돌아가는 동안 유지 관리도 계속 떠안아야 합니다. 예를 들어 Defy Agents는 리포팅이나 모니터링 같은 반복적인 업무를 에이전틱 워크플로로 수행하며, 유지 관리 부담이 팀에 넘어오지 않습니다. 글로벌 인플루언서 에이전시 SAMY는 이를 도입해 성과 리포팅을 간소화했고, 사흘 걸리던 작업을 하루로 줄였습니다.
어떤 길을 택하든 먼저 네 단계를 실행하십시오. 에이전트, 모니터링, 데이터 접근이 어떻게 맞물리는지는 Defy 플랫폼에서 확인하실 수 있지만, 기준선은 여러분이 직접 만들어야 합니다.
