토큰맥싱은 끝났다: 기업 AI 도입 전략이 ‘밸류맥스’로 바뀌는 이유
기업들이 “AI를 많이 쓰게 하자”는 단계에서 빠르게 벗어나고 있습니다.
이제 핵심은 직원들이 얼마나 많은 토큰을 썼는지가 아니라, AI가 실제로 기업 생산성, 비용 절감, 의사결정 속도, 매출 기여, ROI를 얼마나 만들었느냐입니다.
이번 내용에서 중요한 포인트는 크게 네 가지입니다.
첫째, 왜 기업들이 불과 몇 달 만에 토큰맥싱을 멈추기 시작했는지입니다.
둘째, AI 에이전트가 왜 토큰 비용을 폭증시키는지입니다.
셋째, AX를 제대로 해본 기업들이 지금 어떤 방식으로 토큰 낭비를 줄이고 있는지입니다.
넷째, 데이터 레이크와 사내 데이터 MCP를 이미 구축한 기업들이 왜 앞으로 AI 경쟁에서 유리해지는지입니다.
1. 토큰맥싱 시대가 너무 빨리 끝난 이유
토큰맥싱은 쉽게 말하면 기업이 직원들에게 AI 사용량을 크게 열어주고, 최대한 많이 쓰게 만드는 전략입니다.
초기에는 이 방식이 꽤 그럴듯해 보였습니다.
AI를 많이 써야 업무 자동화 아이디어도 나오고, 직원들의 활용 역량도 올라가고, 기업의 디지털 전환 속도도 빨라질 수 있기 때문입니다.
실제로 많은 기업들은 AI 솔루션을 도입하기까지는 굉장히 신중했습니다.
보안 검토, 비용 검토, 개인정보 이슈, 외산 LLM 사용 가능 여부, 내부망 연동 문제 등을 거치느라 의사결정에는 시간이 오래 걸렸습니다.
하지만 일단 도입이 결정되면 분위기가 완전히 달라졌습니다.
경영진 입장에서는 “어렵게 도입했으니 일단 직원들이 마음껏 써보게 하자”는 태도를 보였습니다.
그래서 지난 6개월에서 1년 사이 많은 기업들이 상당히 관대하게 AI 사용량을 풀어줬습니다.
일부 기업에서는 개발자들의 토큰 사용량을 리더보드처럼 공개하고, 많이 쓰는 것을 일종의 성과처럼 보여주기도 했습니다.
당시에는 토큰 사용량이 많다는 것 자체가 AI 전환, 즉 AX가 잘 되고 있다는 신호처럼 여겨졌습니다.
하지만 문제는 금방 드러났습니다.
토큰 사용량은 폭발적으로 늘었지만, 그만큼 기업 생산성이 개선됐는지 명확하게 증명하기 어려웠습니다.
비용은 숫자로 바로 보이는데, 생산성 향상은 정량화하기 어렵기 때문입니다.
- 전 세계적으로 최근 2년간 토큰 사용량은 약 22배 증가한 것으로 언급됩니다.
- 미국 기업의 약 73%가 AI 관련 예산을 조기 소진하거나 초과 소진했다는 흐름도 나타나고 있습니다.
- 사람이 100번 사용할 대화량을 AI 에이전트는 한 번의 작업에서 써버리는 경우도 생기고 있습니다.
- 직원들은 회사 돈으로 쓰기 때문에 자연스럽게 가장 비싼 플래그십 모델을 선호합니다.
결국 토큰맥싱은 “AI를 많이 쓰면 언젠가 가치가 나오겠지”라는 낙관론에서 출발했지만, 기업 입장에서는 “비용 증가 속도만큼 실제 성과가 나오고 있나?”라는 질문을 피할 수 없게 됐습니다.
이 지점에서 기업 AI 도입 전략은 토큰맥싱에서 밸류맥스로 넘어가고 있습니다.
2. 밸류맥스란 무엇인가: 양에서 질로 바뀌는 AX 전략
밸류맥스는 AI를 많이 쓰는 것이 아니라, AI로 실제 가치를 극대화하는 전략입니다.
토큰 사용량, 호출 횟수, 모델 사용 빈도보다 더 중요한 것은 업무 프로세스 개선, 의사결정 자동화, 비용 절감, 매출 기여, 리스크 감소입니다.
이 변화는 기업의 AI 투자 관점에서도 매우 중요합니다.
초기 AI 투자는 실험 비용에 가까웠습니다.
하지만 이제는 AI 예산도 명확한 ROI를 요구받기 시작했습니다.
기업 입장에서는 “이 에이전트를 만들면 어떤 업무 시간이 얼마나 줄어드는가”, “이 워크플로우가 어느 부서의 비용을 얼마나 절감하는가”, “경영진 의사결정 속도가 얼마나 빨라지는가”를 따져야 합니다.
| 구분 | 토큰맥싱 | 밸류맥스 |
|---|---|---|
| 핵심 목표 | AI를 최대한 많이 쓰게 하기 | AI로 실질적 성과 만들기 |
| 주요 지표 | 토큰 사용량, 접속률, 호출 수 | ROI, 비용 절감, 업무 시간 단축, 의사결정 품질 |
| 운영 방식 | 전 직원에게 넓게 개방 | 핵심 업무 프로세스 중심으로 설계 |
| 리스크 | 비용 폭증, 일관성 저하, 성과 측정 어려움 | 초기 설계 난도 증가, 데이터 연동 필요 |
| 필요 역량 | AI 사용 교육 | 업무 분석, 데이터 연동, 워크플로우 설계, 비용 통제 |
결국 밸류맥스 시대의 AX는 단순한 AI 교육이 아닙니다.
이제 기업들은 “ChatGPT 잘 쓰는 법”보다 “우리 회사의 특정 업무를 어떤 에이전트와 어떤 데이터로 자동화할 것인가”를 묻고 있습니다.
그래서 AI 강의 시장도 바뀌고 있습니다.
추상적인 트렌드 강의보다, 실제 업무 프로세스를 진단하고 구체적인 자동화 설계를 제안하는 AX 컨설팅 수요가 커지고 있습니다.
3. 기업들이 AI를 풀어줬을 때 실제로 벌어진 일
기업이 AI 서비스를 도입하면 초기에는 사용량이 크게 튀는 경우가 많습니다.
첫 주에는 직원들이 호기심으로 이것저것 써보면서 트래픽이 급증합니다.
하지만 시간이 지나면 사용량은 자연스럽게 줄어들고, 그 회사의 실제 AI 활용 역량 수준으로 수렴합니다.
이 지점이 꽤 중요합니다.
많은 관리자들이 첫 주 트래픽만 보고 “비용이 너무 많이 나오겠다”고 놀라서 사용을 제한하려고 합니다.
하지만 실제로는 몇 주 정도 지켜봐야 합니다.
초기 호기심 사용량이 빠지고 나면, 진짜로 AI를 업무에 녹여 쓰는 직원과 조직이 드러나기 때문입니다.
업종별 차이도 큽니다.
망분리가 강한 금융권이나 공공기관은 외산 AI 모델이나 클라우드 기반 AI 서비스를 자유롭게 쓰기 어렵기 때문에 활용률이 낮아질 수 있습니다.
반대로 망분리 제약이 적고, 문서 기반 업무가 많고, 직원들이 컴퓨터 앞에서 일하는 비중이 높은 업종은 활용률이 빠르게 올라갑니다.
- 제조업과 건설업은 현장직 비중이 높아 평균 사용률이 낮게 나올 수 있습니다.
- 서비스업, 기획, 전략, 마케팅, 개발 조직은 AI 활용도가 빠르게 올라가는 경향이 있습니다.
- 이미 개인적으로 ChatGPT, Claude, Gemini를 쓰던 직원이 많은 회사는 도입 후 사용량이 꾸준히 증가합니다.
- 반대로 AI를 낯설어하는 조직은 도입 후 교육과 내부 성공 사례 확산이 필요합니다.
즉, AI를 도입했다고 바로 AX가 되는 것은 아닙니다.
조직 내부에 이미 AI를 업무 언어로 받아들일 준비가 되어 있는지, 그리고 관리자가 그 사용 데이터를 보고 어떤 교육과 시스템 개선을 할 수 있는지가 중요합니다.
4. AI 에이전트가 토큰을 폭증시키는 구조
AI 에이전트는 단순 챗봇보다 훨씬 많은 토큰을 씁니다.
이유는 간단합니다.
사용자는 한두 문장만 입력하지만, 에이전트는 그 뒤에서 여러 단계를 수행하기 때문입니다.
예를 들어 사용자가 “이 신사업을 한국에서 해도 될까?”라고 물었다고 가정해보겠습니다.
예전의 챗봇은 학습된 지식이나 웹 검색 결과를 바탕으로 대략적인 답변을 했습니다.
하지만 에이전트는 법제처 데이터를 조회하고, 현행법 조항을 찾고, 관련 규제를 비교하고, 사업 가능 여부를 정리합니다.
사용자 입력은 100자도 안 되지만, 에이전트가 가져오는 데이터는 수천 자가 될 수 있습니다.
부동산 보고서도 마찬가지입니다.
사용자가 특정 주소나 토지 정보를 입력하면, AI 에이전트는 국토교통부 데이터, 실거래가 데이터, KB 부동산 시세, 용도지역 정보 등을 가져와 표와 보고서 형태로 정리할 수 있습니다.
업무 품질은 확실히 올라갑니다.
하지만 그 과정에서 입력 토큰과 출력 토큰은 함께 늘어납니다.
기업 입장에서 이 변화는 양날의 검입니다.
AI 에이전트는 과거보다 훨씬 유용하지만, 비용 구조도 과거보다 훨씬 무거워졌습니다.
특히 고성능 모델을 기본값으로 쓰면 AI 비용은 빠르게 증가합니다.
5. AX를 해본 기업들이 찾은 해법: 경량 LLM 워크플로우
최근 AX를 실제로 추진하는 기업들은 에이전트를 무작정 자유롭게 움직이게 두지 않습니다.
이유는 두 가지입니다.
첫째, 토큰 낭비가 심해집니다.
둘째, 결과의 일관성이 떨어집니다.
초기에는 플래그십 LLM에게 모든 도구와 데이터를 알려주고 “알아서 해봐”라고 맡기는 방식이 많았습니다.
예를 들어 원가 정보 MCP, 생산 데이터 MCP, 공공 데이터 MCP, ERP 데이터 MCP 등 20개 도구를 붙여놓고, AI가 알아서 필요한 것을 골라 쓰게 하는 식입니다.
하지만 이 방식은 문제가 있었습니다.
AI가 어떤 도구를 어떤 순서로 호출할지 매번 달라질 수 있습니다.
같은 질문을 해도 어떤 날은 A 데이터부터 가져오고, 다른 날은 B 데이터부터 가져옵니다.
그러다 보니 결과물도 미묘하게 달라지고, 중간 과정에서 불필요한 토큰이 많이 쓰입니다.
그래서 등장한 방식이 경량 LLM을 앞단에 두는 구조입니다.
먼저 저렴하고 빠른 경량 LLM이 사용자의 요청을 분석합니다.
그리고 어떤 MCP를 어떤 순서로 호출할지 워크플로우를 먼저 짭니다.
그 다음 고성능 플래그십 LLM은 이 워크플로우를 따라가며 실제 분석과 최종 보고서 생성을 맡습니다.
- 경량 LLM은 작업 순서와 도구 호출 계획을 설계합니다.
- 플래그십 LLM은 고품질 판단, 문서 작성, 경영진 보고서 생성을 담당합니다.
- 불필요한 도구 호출을 줄여 토큰 비용을 낮춥니다.
- 매번 다른 결과가 나오는 문제를 줄이고, 업무 결과의 일관성을 높입니다.
일부 기업은 경량 LLM 대신 파이썬 프로그램이나 결정론적 MCP를 활용하기도 합니다.
예를 들어 “투자해도 되는 기업인지 판단해줘”라는 요청이 들어오면, AI가 자유롭게 검색하는 것이 아니라 정해진 순서대로 움직입니다.
- DART에서 기업 공시 정보를 조회합니다.
- 신용평가 기관에서 기업 신용 정보를 가져옵니다.
- 비상장사라면 별도 기업 데이터베이스에서 정보를 확인합니다.
- 수집한 데이터를 PDF나 구조화 문서로 정리합니다.
- 마지막 단계에서 LLM이 투자 판단 보고서를 작성합니다.
이 방식의 장점은 명확합니다.
정보 수집 과정은 정해진 순서대로 진행되기 때문에 일관성이 높습니다.
AI는 최종 판단과 설명에 집중하기 때문에 토큰 낭비가 줄어듭니다.
결국 밸류맥스의 핵심은 “AI에게 모든 것을 맡기는 것”이 아니라 “AI가 가장 잘하는 일을 하도록 업무 구조를 설계하는 것”입니다.
6. 사내 데이터 MCP가 기업 AI의 진짜 승부처가 되는 이유
AI 모델의 두뇌는 이미 빠르게 좋아지고 있습니다.
GPT, Claude, Gemini, 국산 LLM 등 모델 성능은 계속 개선되고 있습니다.
하지만 기업 업무에서 진짜 중요한 것은 모델 자체보다 사내 데이터 접근성입니다.
아무리 똑똑한 AI라도 우리 회사의 ERP, 그룹웨어, 전자결재, 회계 시스템, 생산 데이터, 고객 데이터, 재고 데이터에 접근하지 못하면 실무 자동화에는 한계가 있습니다.
반대로 MCP를 통해 사내 시스템과 연결되면 AI는 단순 답변 도구가 아니라 업무 프런트엔드가 됩니다.
예를 들어 직원은 그룹웨어에 들어가 여러 메뉴를 클릭하지 않아도 됩니다.
“내 휴가 며칠 남았지?”라고 물으면 AI가 인사 시스템을 조회합니다.
“오늘 2시에 회의실 예약 가능해?”라고 물으면 AI가 일정과 회의실 현황을 확인합니다.
“나한테 온 전자결재 있어?”라고 물으면 결재 대기 문서를 찾아줍니다.
“이 건 승인해줘”라고 하면 권한 범위 안에서 처리까지 연결될 수 있습니다.
제조 기업에서는 더 큰 효과가 나옵니다.
SAP와 연결해 원가 정보를 자동 계산하고, 매일 아침 경영진 보고서를 생성할 수 있습니다.
공장 데이터베이스와 연결해 전일 수율, 불량률, 생산량을 자동 분석할 수도 있습니다.
다만 공장 데이터는 민감하기 때문에 접근 권한이 있는 부서에만 에이전트를 공유하는 구조가 필요합니다.
이제 기업 AI 경쟁력은 “어떤 모델을 쓰느냐”에서 “우리 회사 데이터를 얼마나 안전하고 정확하게 AI에 연결하느냐”로 이동하고 있습니다.
이 부분이 앞으로 AI 투자와 경제 전망 측면에서도 굉장히 중요한 포인트입니다.
AI 인프라 투자가 단순 모델 구독료를 넘어 데이터 파이프라인, 보안, 권한 관리, MCP 개발, 워크플로우 오케스트레이션으로 확장되고 있기 때문입니다.
7. 데이터 레이크를 미리 구축한 기업이 유리해진 이유
10년 전 빅데이터 열풍 때 데이터 레이크와 데이터 플랫폼을 구축한 기업들이 있습니다.
당시에는 투자 대비 효과가 애매하다는 평가도 많았습니다.
데이터를 모아두긴 했지만, 그것을 실제 업무 자동화나 의사결정에 자연스럽게 연결하기 어려웠기 때문입니다.
그런데 생성형 AI와 MCP가 등장하면서 상황이 바뀌었습니다.
이미 데이터를 중앙화하고 디지털화해둔 기업은 AI에 연결할 파이프만 꽂으면 됩니다.
반대로 데이터가 부서별로 흩어져 있고, 엑셀 파일과 레거시 시스템에 갇혀 있는 기업은 지금부터 정리해야 합니다.
즉, 과거의 디지털 전환 투자가 이제야 본격적으로 성과를 낼 수 있는 환경이 된 것입니다.
DT를 잘해둔 기업은 AX 전환에서도 훨씬 빠르게 움직일 수 있습니다.
데이터 레이크는 단순 저장소가 아니라 AI 에이전트의 연료가 되고 있습니다.
8. RAG에 실망했던 기업들이 다시 AI를 봐야 하는 이유
초기 기업 AI 프로젝트의 핵심 기술은 대부분 RAG였습니다.
PDF, 사내 문서, 규정집을 올려두고 질문하면 AI가 관련 문단을 찾아 답변하는 방식입니다.
하지만 많은 기업들이 RAG에 실망했습니다.
숫자를 틀리게 답하거나, 문서의 일부만 가져와 맥락을 놓치거나, 정확도가 기대보다 낮았기 때문입니다.
사실 RAG는 태생적으로 100% 정확한 정답 생성 기술이 아닙니다.
긴 문서를 잘게 나누고, 질문과 유사한 문단을 찾아 LLM에 넣어주는 방식이기 때문에 중요한 문맥이 빠질 수 있습니다.
그래서 “왜 우리 회사 RAG는 정확하지 않지?”라는 불만이 많았습니다.
하지만 지금은 환경이 달라졌습니다.
MCP를 활용하면 AI가 단순히 문서 조각을 찾는 것이 아니라, 실제 데이터베이스에 쿼리할 수 있습니다.
자연어 질문을 SQL로 바꾸고, 필요한 데이터를 정확히 조회한 뒤, 그 결과를 바탕으로 답변합니다.
모델 성능도 좋아졌습니다.
맥락에 들어온 정보를 이해하고, 헛소리를 줄이고, 구조화된 보고서로 바꾸는 능력이 이전보다 훨씬 강해졌습니다.
그래서 너무 초기에 RAG만 해보고 “생성형 AI는 기업 업무에 안 맞는다”고 판단한 기업이라면 지금 다시 봐야 합니다.
지금이 오히려 기업 AI 활용의 본격적인 출발점에 가깝습니다.
9. 다른 뉴스에서 잘 말하지 않는 가장 중요한 포인트
대부분의 뉴스는 “AI 비용이 늘었다”, “토큰맥싱이 끝났다”, “밸류맥스가 중요하다” 정도에서 멈춥니다.
하지만 진짜 중요한 부분은 비용 절감 자체가 아닙니다.
핵심은 기업 내부에 AI 통제 계층이 새로 생기고 있다는 점입니다.
앞으로 기업 AI 시스템은 단순히 ChatGPT 같은 모델을 연결하는 수준이 아닙니다.
경량 LLM, 플래그십 LLM, MCP, 데이터 레이크, 권한 관리, 워크플로우 엔진, 비용 모니터링이 하나의 운영 체계로 묶입니다.
이 구조를 먼저 만든 기업은 AI를 비용이 아니라 생산성 자산으로 만들 수 있습니다.
특히 중요한 것은 에이전트의 자유도를 어디까지 허용할 것인가입니다.
AI에게 모든 판단을 맡기면 창의성은 올라갈 수 있지만 비용과 일관성 문제가 생깁니다.
반대로 모든 과정을 결정론적으로 고정하면 비용은 줄지만 유연성이 떨어질 수 있습니다.
그래서 기업은 업무별로 AI의 자유도와 통제 수준을 다르게 설계해야 합니다.
- 반복적이고 규칙적인 업무는 결정론적 MCP와 자동화 스크립트가 유리합니다.
- 보고서 작성, 전략 분석, 투자 검토처럼 판단이 필요한 업무는 고성능 LLM이 필요합니다.
- 대규모 데이터 조회는 사내 데이터베이스와 MCP 연결이 핵심입니다.
- 최종 의사결정은 AI가 아니라 사람이 책임지는 구조가 필요합니다.
이 관점에서 보면 밸류맥스는 단순 비용 절감 전략이 아닙니다.
기업의 운영 방식 자체가 바뀌는 변화입니다.
AI가 기존 시스템 위에 덧붙는 도구가 아니라, ERP와 그룹웨어와 데이터 플랫폼을 자연어로 조작하는 새로운 업무 인터페이스가 되는 것입니다.
10. 앞으로 기업들이 준비해야 할 AX 전략
앞으로 기업이 해야 할 일은 명확합니다.
첫째, AI 사용량만 보지 말고 업무별 성과 지표를 만들어야 합니다.
어떤 부서가 AI를 많이 쓰는지가 아니라, 어떤 업무에서 시간이 줄었고 비용이 절감됐는지를 봐야 합니다.
둘째, 사내 데이터를 정리해야 합니다.
데이터가 흩어져 있으면 AI 에이전트는 제대로 일할 수 없습니다.
데이터 레이크, 데이터 카탈로그, 권한 관리, API 연동 구조를 갖춰야 합니다.
셋째, MCP 기반 연결 전략을 세워야 합니다.
ERP, 그룹웨어, 회계, 생산, 영업, 고객관리 시스템을 AI가 안전하게 조회하고 실행할 수 있어야 합니다.
단, 모든 직원에게 모든 데이터를 열어주는 것이 아니라 권한 기반으로 통제해야 합니다.
넷째, 경량 LLM과 고성능 LLM을 역할별로 나눠 써야 합니다.
모든 작업에 비싼 모델을 쓰면 AI 비용은 감당하기 어렵습니다.
분류, 라우팅, 워크플로우 설계, 간단한 요약은 경량 모델이 맡고, 복잡한 판단과 최종 문서화는 고성능 모델이 맡는 구조가 필요합니다.
다섯째, AI 교육의 방향을 바꿔야 합니다.
이제 단순 프롬프트 교육만으로는 부족합니다.
부서별 업무 프로세스를 분석하고, 어떤 업무를 에이전트화할지, 어떤 데이터가 필요한지, 어떤 성과 지표로 평가할지까지 연결해야 합니다.
< Summary >
토큰맥싱은 AI를 많이 쓰게 하는 초기 전략이었지만, 비용 폭증과 성과 측정 문제로 빠르게 한계를 드러냈습니다.
기업 AI 전략은 이제 토큰 사용량보다 ROI, 비용 절감, 업무 자동화, 의사결정 개선을 중시하는 밸류맥스로 이동하고 있습니다.
AI 에이전트는 법률, 부동산, ERP, 공장 데이터 등 다양한 정보를 직접 조회하면서 업무 품질을 높이지만, 동시에 토큰 비용을 크게 늘립니다.
AX를 앞서가는 기업들은 경량 LLM으로 워크플로우를 먼저 설계하고, 플래그십 LLM이 최종 판단과 문서화를 맡는 방식으로 비용과 일관성 문제를 해결하고 있습니다.
앞으로 기업 AI 경쟁력은 모델 선택보다 사내 데이터 MCP, 데이터 레이크, 권한 관리, 워크플로우 오케스트레이션을 얼마나 잘 구축하느냐에 달려 있습니다.
