토큰 쇼티지는 쉽게 말해서 AI가 일하는 데 필요한 연료가 부족해지는 현상을 말합니다.
토큰은 AI가 데이터를 읽고 쓰는데 필요한 최소 단위입니다. 얼마 전까지만 해도 데이터는 대부분 짧은 글 수준이었어요. 사람들이 요구하는 것이 “이거 요약해줘” 정도에 불과했거든요. 하지만 AI가 코드를 짜고, 파일을 읽고, PPT를 만들고 이미지도 해석하기 시작했죠. 토큰이 너무나 중요해졌어요. 이제 이걸 에이전트가 알아서 다 하니, 토큰을 너무 먹기 시작했거든요.
LLM에서는 어느 정도 예측 가능했던 토큰 소비가, 에이전트 환경에서는 반복 실행, 누적된 컨텍스트, 상태 유지, 세션 재개를 거치며 훨씬 빠르게 늘어나고, 이 때문에 정액제보다 사용량 기반 과금 압력이 커진다는 점이 부각되고 있습니다.
이 흐름이 더 무서운 이유는, 토큰 쇼티지가 결국 메모리 쇼티지로 번질 수밖에 없기 때문입니다. AI가 토큰을 만든다는 것은 단순히 문장을 뱉는 일이 아닙니다. 앞서 읽은 문맥, 사용자의 지시, 도구 호출 결과, 코드 실행 로그, 실패한 시도와 수정 방향까지 계속 붙잡아둔 채 다음 판단을 이어가는 일입니다. 이때 필요한 것이 GPU 안의 KV cache라는 메모리입니다.
챗봇 시대에는 KV cache이 그렇게까지 중요하진 않았습니다. 질문 하나, 답변 하나면 끝나는 경우가 많았기 때문입니다. 하지만 Agentic AI는 다릅니다. 한 번의 요청 안에서 검색하고, 비교하고, 계산하고, 실행하고, 다시 고치고, 또 판단합니다.
세션은 길어지고, 상태는 누적되며, 동시에 돌아가는 에이전트 수는 늘어납니다. 그러면 필요한 것은 단순한 연산 성능만이 아닙니다. 더 많은 상태를 담아둘 메모리 용량, 그리고 그 상태를 매 토큰마다 빠르게 불러올 메모리 대역폭이 필요해집니다.
이 지점에서 HBM이 다시 중심으로 올라옵니다. HBM은 AI 가속기 옆에 붙은 초고속 작업대입니다. GPU가 아무리 빨라도, 과거 문맥과 작업 상태를 HBM에서 충분히 빠르게 읽어오지 못하면 토큰 생산 속도는 막힙니다. 에이전트가 늘어날수록 병목은 “모델이 얼마나 똑똑한가”에서 “그 똑똑함을 얼마나 오래, 얼마나 많이, 얼마나 싸게 유지할 수 있는가”로 바뀌게 됩니다.
그래서 Agentic AI발 토큰 쇼티지는 곧 HBM 쇼티지의 제2막입니다. 1막이 학습용 GPU와 HBM의 시대였다면, 2막은 추론과 에이전트가 만들어내는 지속적 메모리 수요의 시대입니다. |
