AI 에이전트 토큰 절약, 2026년 캐싱·컨텍스트 관리로 비용 줄이는 법

AI 에이전트는 대화 한 번보다 토큰을 4배에서 15배까지 씁니다. 계획하고 도구를 부르고 결과를 검증하는 과정이 겹겹이 쌓이기 때문이죠. 프롬프트 캐싱과 컨텍스트 관리를 같이 적용하면 이 비용을 실제로 크게 줄일 수 있습니다.

에이전트가 토큰을 몰아 쓰는 이유

왜 유독 에이전트만 토큰을 많이 먹을까요? 단순 챗봇은 질문 하나에 답 하나를 내놓지만, 에이전트는 계획을 세우고, 문서를 검색하고, 외부 도구를 호출하고, 결과를 스스로 검증한 뒤 필요하면 다시 실행합니다.

앤트로픽이 자사 멀티에이전트 리서치 시스템을 분석한 결과, 일반 에이전트는 단순 채팅 대비 토큰을 약 4배 쓰고, 리드 에이전트가 여러 서브에이전트를 병렬로 돌리는 멀티에이전트 구조는 약 15배를 씁니다. BrowseComp 평가에서는 성능 변동의 95%를 세 가지 요인이 설명했는데, 그중 토큰 사용량 하나가 80%를 차지했습니다. 나머지는 도구 호출 횟수와 모델 선택이고요.

즉 토큰을 많이 쓸수록 성능이 좋아지는 경향은 분명 있습니다. 문제는 그 비용을 감당할 만한 작업인지 판단하는 거죠.

프롬프트 캐싱으로 입력 토큰 줄이기

가장 먼저 손댈 곳은 입력 토큰입니다. 시스템 프롬프트나 대화 이력처럼 반복되는 부분을 캐싱해 두면, 같은 내용을 다시 보낼 때 훨씬 싼 가격으로 처리됩니다.

2026년 9월 기준 claude.com/pricing에서 확인한 모델별 가격은 아래와 같습니다. 캐시 가격은 5분 TTL 기준이며, 캐시 기간을 늘리면 쓰기 비용이 더 붙습니다.

모델	입력 (MTok)	출력 (MTok)	캐시 읽기 (MTok)	캐시 쓰기 (MTok)
Opus 5.5	$4	$20	$0.20	$5
Sonnet 5	$2	$10	$0.20	$2.50
Haiku 4.5	$1	$5	$0.10	$1.25

표에서 보듯 캐시 읽기 가격은 입력 가격의 10분의 1 이하입니다. Sonnet 5와 Haiku 4.5는 정확히 10분의 1이고, Opus 5.5는 입력 $4에 캐시 읽기 $0.20이라 20분의 1까지 내려갑니다. 비싼 모델일수록 캐싱으로 아끼는 폭이 크다는 뜻이죠. 반복 호출이 많은 에이전트 워크플로우일수록 효과가 커지는 구조입니다. 여기에 배치 API를 쓰면 50% 할인이 추가로 붙습니다. 다만 배치는 실시간 응답이 필요 없는 작업에만 맞는 방식이라는 점은 감안해야 합니다.

컨텍스트 관리 — 서브에이전트와 메모리 도구

여기부터는 조금 복잡합니다. 최대한 줄여서 쓰겠습니다.

캐싱이 입력 토큰 단가를 낮추는 방법이라면, 컨텍스트 관리는 애초에 컨텍스트에 쌓이는 토큰 양 자체를 줄이는 접근입니다.

Claude Code의 서브에이전트는 별도의 컨텍스트 윈도우에서 작업을 실행합니다. 검색 결과나 로그, 파일 내용처럼 부피가 큰 중간 산출물은 서브에이전트 안에만 남고, 메인 대화에는 요약만 돌아옵니다. 필요한 작업을 Haiku처럼 저렴한 모델로 넘기는 것도 가능합니다.

앤트로픽이 공개한 컨텍스트 편집(context editing) 기능은 컨텍스트 윈도우가 한계에 가까워지면 오래된 도구 호출과 결과를 자동으로 정리합니다. 100턴짜리 웹 검색 평가에서 이 기능은 토큰 소비를 84% 줄였고, 원래는 컨텍스트 소진으로 실패했을 작업을 끝까지 완료시켰습니다. 여기에 파일 기반으로 지식을 쌓아 두는 메모리 도구를 함께 쓰면 기준 대비 39% 성능 향상이 있었고, 컨텍스트 편집 단독으로는 29% 향상이었습니다.

지금 바로 적용할 수 있는 절약 팁

• 출력 형식, 분량, 톤, 예시를 프롬프트에 미리 못 박아 둡니다. 모델이 다시 물어보거나 장황하게 답하는 걸 막을 수 있습니다.
• 반복되는 시스템 프롬프트나 대화 이력은 캐싱 대상으로 잡습니다.
• 단순 검색이나 요약처럼 난이도가 낮은 하위 작업은 Haiku 같은 저가 모델로 라우팅합니다.
• 서브에이전트 설명(description)은 짧게, 세부 지시는 서브에이전트 자체 시스템 프롬프트로 옮깁니다. 필요할 때만 로드되니까요.
• 테스트 로그나 설치 로그, 긴 diff 출력은 필터링해서 요약만 컨텍스트에 남깁니다.
• 세션이 길어지면 압축하거나 초기화합니다. 오래된 도구 결과를 계속 끌고 가는 게 가장 큰 낭비입니다.

직접 해보니

위에 적은 건 전부 공식 문서에서 확인한 내용입니다. 여기서부터는 제가 직접 겪은 이야기예요. AI로 3D 애니메이션 한 편을 만드는 9단계 중에 벌어진 일입니다.

저는 개인 프로젝트로 3D 애니메이션을 만들면서 클로드로 에이전트 조직을 짰습니다. 캐릭터와 배경은 미드저니로 뽑았고, 영상 생성은 따로 돌렸어요. 그 전체를 묶는 자리에 팀장 역할을 하는 에이전트를 하나 두고, 실제 작업은 그 아래 에이전트들이 하도록 했습니다. 토큰을 아끼려고 그렇게 나눈 겁니다. 모든 대화와 작업을 팀장 하나로 돌리면 낭비가 심할 것 같았거든요.

그런데 중간쯤부터 토큰이 이상하게 빨리 닳았습니다. 숫자를 정확히 재본 건 아닙니다. 그냥 체감이 이상했어요. 이게 맞나 싶어서 상위 요금제로 올려야 하나까지 고민했을 정도였으니까요.

그래서 물어봤습니다. 지금 나는 너하고만 이야기하고, 너는 하부 에이전트들을 시켜서 일을 하고 있는 게 맞냐고. 그랬더니 사실은 자기가 직접 일하고 있었다고 하더군요. 팀장을 두고 위임을 시켰는데, 그 팀장이 혼자 다 하고 있었던 겁니다.

더 큰 문제는 따로 있었습니다. 저는 씬별로 이미지만 만드는 줄 알았는데, 나중에 보니 애니매틱까지 영상으로 만들어 놨더군요. 제가 최종 오케이를 하지 않은 이미지들이었습니다. 이미지 단계에서 탈락됐을 컷들까지 전부 영상으로 만든 꼴이 된 거죠. 승인 한 번을 건너뛰었더니 그 뒤 작업이 통째로 버려졌습니다. 그때 꽤 세게 잡도리했습니다. 사과는 하더군요.

그 뒤로 프롬프트를 바꾸지는 않았습니다. 대신 추가했어요. 처음 프롬프트를 다시 상기시키면서, 너는 팀장이고 일은 하부 에이전트들만 하는 거라고. 네가 직접 일하지 말라고. ‘절대’라는 말까지 붙여서 단도리를 했습니다.

이 습관은 다른 도구에서도 똑같이 씁니다. 영상 생성처럼 한 번 돌릴 때마다 비용이 나가는 작업은 확인용을 먼저 낮은 설정으로 뽑고 통과하면 그때 품질을 올립니다. 재시도 한 번이 곧 돈이라는 점에서는 토큰이나 크레딧이나 같거든요.

돌아보면 토큰을 태운 건 모델이 아니라 빠진 승인 단계였습니다. 캐싱이나 컨텍스트 관리로 줄일 수 있는 건 단가 쪽이고, 애초에 안 해도 될 일을 해버리는 건 그걸로 못 막습니다. 역할을 나눴으면 “직접 하지 마라”까지 명시해야 하고, 다음 단계로 넘어가기 전에 사람이 한 번 끊어 주는 지점을 만들어 둬야 한다는 걸 이때 배웠습니다.

자주 묻는 질문

프롬프트 캐싱은 아무 작업에나 효과가 있나요?

반복 호출이 많고 시스템 프롬프트나 문서 컨텍스트가 매번 비슷하게 재사용되는 작업일수록 효과가 큽니다. 매번 완전히 다른 내용을 보내는 일회성 요청이라면 캐시 쓰기 비용만 붙고 이득이 적을 수 있습니다.

멀티에이전트 구조는 무조건 피해야 하나요?

그렇지는 않습니다. 앤트로픽 자료에 따르면 멀티에이전트 구조는 토큰을 훨씬 많이 쓰지만, 정보가 여러 갈래로 퍼져 있어 하나의 컨텍스트 윈도우로는 감당이 안 되는 폭넓은 리서치 작업에서는 성능 향상 폭이 그 비용을 정당화할 만큼 큽니다. 단순 작업에 멀티에이전트를 쓰는 게 낭비인 거죠.

가격은 어디서 확인해야 정확한가요?

모델별 가격과 캐싱 조건은 수시로 바뀝니다. 이 글의 가격은 2026년 9월 claude.com/pricing 기준이니, 실제 적용 전에는 반드시 공식 가격 페이지에서 현재 시점 수치를 다시 확인하시길 권합니다.

정리

• 에이전트는 계획-도구 호출-검증 루프 때문에 단순 대화보다 토큰을 4~15배 씁니다.
• 프롬프트 캐싱은 캐시 읽기 가격이 입력 가격의 10분의 1 이하(Opus 5.5는 20분의 1)라 반복 호출이 많은 작업에서 특히 유리합니다.
• 서브에이전트로 부피 큰 중간 결과를 격리하면 메인 컨텍스트가 가벼워집니다.
• 컨텍스트 편집 기능은 100턴 평가에서 토큰 소비를 84% 줄인 사례가 있습니다.
• 가격과 캐싱 조건은 계속 바뀌니, 적용 전 공식 페이지에서 최신 수치를 다시 확인하세요.