AI 에이전트의 모델 비용, 52,406번 호출해 직접 재봤습니다
처음 휴대폰 요금제를 고를 때를 떠올려 보면, 대부분은 한 달에 데이터를 얼마나 쓰는지 모르는 채로 넉넉한 요금제부터 고릅니다. 모자라면 곤란하니까요. 그러다 몇 달 뒤 사용량 내역을 열어 보고 나서야 실제로 쓰는 양이 요금제의 절반에도 못 미친다는 걸 알게 됩니다. 비싼 요금제가 잘못된 선택이었다기보다, 내 사용량을 한 번도 재 보지 않았던 것입니다. AI 기능을 붙일 때도 비슷한 일이 일어납니다. 가장 잘 알려진 모델을 기본값으로 연결하고, 호출이 하루 몇십 번일 때는 청구서도 크게 신경 쓰이지 않습니다. 그런데 에이전트가 반복 작업을 맡기 시작하면 호출은 금세 수만 번으로 늘어납니다. 그때부터 모델 선택은 취향이 아니라 비용 구조의 문제가 됩니다. 그래서 직접 재 보기로 했습니다. AIEEV 마케팅팀이 실제 업무에 쓸 리서치 에이전트를 만들어 모델을 5만 번 넘게 호출하고, 청구 금액을 확인했습니다. 이 작업에 정말 비싼 모델이 필요했을까요? 같은 일을 다른 API에 맡겼다면 얼마가 나왔을까요? 🧾
🏃 매주 사람이 읽던 4만 건의 글을 에이전트에게 맡겼습니다
AIEEV의 마케팅팀은 매주 블로그와 뉴스레터 소재를 찾기 위해 AI 인프라 사용자들이 어떤 고민을 이야기하는지 살펴봅니다. 커뮤니티에는 설문이나 인터뷰에서는 얻기 어려운 생생한 목소리가 있습니다. 문제는 양입니다. 하루에도 수백 건씩 올라오는 글과 댓글을 사람이 하나씩 읽기는 어렵습니다. 이번에 만든 에이전트가 이 일을 맡았습니다. 개발자 커뮤니티 Hacker News에서 최근 90일 동안 GPU, 추론(inference), LLM 비용 등 10개 키워드가 들어간 글과 댓글 43,498건을 모은 뒤, 한 건씩 AI 인프라와 관련 있는 글인지 판단합니다. 관련 있는 글에서는 사용자의 고민과 원문 표현을 뽑아내고, 마지막으로 이를 모아 주간 브리프로 정리합니다.
🧩 스택: 쉬운 일은 작은 모델, 어려운 일은 큰 모델
처음부터 모든 단계를 한 모델에 맡기지는 않았습니다. 단계마다 필요한 능력이 다르기 때문입니다. 관련 여부를 판단하는 분류는 호출 수가 가장 많지만 판단 자체는 비교적 단순합니다. 반면 영어 원문에서 사용자의 고민을 이해하고 한국어로 요약하면서 원문 표현까지 정확히 뽑아내는 추출은 호출 수는 적지만 더 높은 언어 이해 능력이 필요합니다. 그래서 다음과 같이 나눴습니다.
단계 | 모델 (Air API) | 호출 수 | 선택 이유 | 비용 |
1. 분류 | Qwen3.5-9B | 43,498 | 가장 빠르고 저렴함. 처리량 118.7 TPS, 100만 토큰당 입력 ₩145 · 출력 ₩218 | $1.20 |
2. 추출 | Qwen3.6-35B-A3B | 8,861 | 영어 원문 이해와 한국어 요약 품질. 100만 토큰당 입력 ₩203 · 출력 ₩1,450 | $1.06 |
3. 요약 | Qwen3.6-35B-A3B | 47 | 추출 결과를 200건씩 묶어 주간 브리프로 종합 | $0.15 |
*처리량은 2026-09-29 Air API 콘솔 표시 기준입니다.
핵심은 가장 좋은 모델 하나를 고르는 것이 아니라, 작업 난이도에 맞게 모델을 나눠 쓰는 것입니다. Air API는 OpenAI 호환 API를 제공하기 때문에 기존에 OpenAI SDK로 짠 코드가 있다면 API 키와 base URL 두 가지만 바꾸면 됩니다. 이번 에이전트 역시 OpenAI Python SDK를 그대로 사용했고, API 키와 base URL, 단계별 모델 엔드포인트만 변경했습니다.
from openai import OpenAI
client = OpenAI(
api_key="YOUR_AIEEV_API_KEY",
base_url="https://ap-1.aieev.cloud/endpoints/qwen3-5-9b/v1",
)
response = client.chat.completions.create(
model="qwen/qwen3.5-9b",
messages=[{"role": "system", "content": CLASSIFY_PROMPT},
{"role": "user", "content": post_text}],
response_format={"type": "json_object"}, # 항상 올바른 JSON으로 응답
extra_body={"chat_template_kwargs": {"enable_thinking": False}}, # 사고 모드(thinking) 끄기
)그런데 전체 데이터를 돌리기 전, 200건만 먼저 테스트하면서 비용을 크게 좌우하는 문제를 하나 발견했습니다. {"relevant": false} 한 줄이면 되는 분류 결과를 받기 위해 출력 토큰을 최대 2,840개씩 쓰고 있었습니다. Qwen 계열 모델은 기본적으로 답하기 전에 생각 과정을 먼저 써 내려가는 사고 모드(thinking)가 켜져 있는데, 이 생각 과정도 출력 토큰으로 계산됩니다. 그래서 분류 단계에서는 사고 모드를 끄는 옵션(enable_thinking: false)을 적용했고, 그 결과 한 건당 출력 토큰은 평균 21개까지 줄었습니다. 단순 분류처럼 깊은 추론이 필요 없는 작업에서는 설정 하나만으로도 불필요한 토큰 사용과 함께 출력 비용을 수십 배 줄일 수 있습니다. 여기에 JSON 모드까지 함께 적용하면서 5만 번이 넘는 전체 실행 동안 응답 형식 오류도 한 건도 발생하지 않았습니다.
💰 결과: 52,406번 호출, $2.41
200건 테스트에서 발견한 문제를 수정한 뒤 전체 작업을 실행했습니다. 결과는 다음과 같았습니다.
항목 | 결과 |
총 호출 | 52,406회 |
소요 시간 | 41.6분 |
에러 | 0건 |
입력 / 출력 토큰 | 13,256,056 / 1,742,702 |
Air API 청구 금액 | $2.41 (약 3,500원) |
같은 일을 다른 API에 맡겼다면 얼마였을까요? 이번 실행에서 실제로 쓴 입력·출력 토큰을 각 사 공식 가격 페이지의 표준 요금을 적용해 계산해봤습니다. 비교 결과는 모델에 따라 크게 갈렸습니다.
DeepSeek 공식 API나 gpt-5.6-luna, gpt-5-mini처럼 가격 경쟁력이 있는 모델과는 1.3~2.8배 차이였습니다. 반면 gpt-5, Claude Sonnet 5 같은 상위 모델로 같은 작업을 처리한다고 가정하면 비용은 14~18배까지 높아졌습니다. 물론 상위 모델이 그만큼 뛰어난 작업도 있습니다. 하지만 이번 작업의 대부분은 “이 글이 AI 인프라와 관련 있는가?”를 반복해서 판단하는 일이었습니다. 이 단계에 상위 모델의 능력이 꼭 필요하지 않다면, 그 차이는 그대로 비용이 됩니다. 반대로 모든 단계를 Qwen3.5-9B 하나로 처리했다면 총비용은 $1.59까지 내려갑니다. 그럼에도 추출 단계에는 35B 모델을 사용했습니다. 이 부분에서는 비용보다 영어 원문 이해와 한국어 요약 품질을 더 중요하게 봤기 때문입니다. 결국 목표는 무조건 가장 싼 모델을 쓰는 것이 아니라, 돈을 더 쓸 가치가 있는 단계와 그렇지 않은 단계를 구분하는 것이었습니다.
(참고) 비교 기준에 대해
모델마다 같은 문장을 토큰으로 세는 방식이 달라 실제 청구액은 환산값과 다를 수 있습니다. 캐시와 배치 할인은 반영하지 않았으며, 가격은 2026년 9월 29일 기준입니다. 아래 품질 비교에서 OpenAI 모델을 직접 호출해 실측한 결과, 입력 토큰 수는 거의 같았고(Air API 35,551 / OpenAI 35,034) 출력은 추론 토큰이 포함돼 OpenAI 쪽이 27~44% 많았습니다.
🔍 품질: 싼 만큼 기대한 결과가 안 나올까요?
여기까지 비용만 보면 $2.41 이라는 숫자가 눈에 띕니다. 하지만 싸기만 해서는 의미가 없습니다. 저렴한 모델이 틀린 답을 많이 내놓는다면 결국 사람이 다시 확인해야 하고, 그 시간도 비용입니다. 그래서 이번에는 가격과 함께 품질도 직접 비교했습니다. Air API가 처리한 결과 중 100건(관련 판정 50건, 비관련 판정 50건)을 무작위로 뽑아, 같은 프롬프트로 gpt-5-mini와 gpt-5에도 맡겨 봤습니다. 세 모델의 판정이 모두 같은 76건은 정답으로 보고, 판정이 엇갈린 24건은 원문을 하나씩 읽고 채점했습니다.
모델 | 분류 오답 (100건 중) | 100건 실측 비용 | Air API 대비 비용 |
Air API (9B + 35B) | 6건 | $0.0086 | 1배 |
gpt-5-mini | 13건 | $0.0252 | 약 3배 |
gpt-5 | 3건 | $0.1363 | 약 16배 |
예상대로 gpt-5가 100건 중 3건의 분류 오답으로 가장 정확했습니다. 이어 Air API가 6건, gpt-5-mini가 13건의 오답을 기록했습니다. 다만 정확도가 높아지는 만큼 비용 차이도 컸습니다. 같은 100건을 처리하는 데 gpt-5는 Air API보다 약 16배의 비용이 들었습니다. 반면 Air API는 gpt-5-mini보다 오답이 절반 이하로 적으면서도, 비용은 약 3분의 1에 그쳤습니다. 오답의 성격도 달랐습니다. Air API의 오답 6건 중 5건은 AI 일자리 논쟁이나 생산성 논쟁처럼 AI 전반을 다룬 글을 AI 인프라 관련으로 넓게 잡은 경우였습니다. 리서치 용도에서는 이런 오답은 나중에 걸러내면 되므로 부담이 크지 않습니다. 반면 gpt-5-mini는 GPU나 로컬 추론을 다룬 글을 놓치거나, 데이터베이스 업그레이드처럼 무관한 글을 관련 있다고 판단한 경우가 섞여 있었습니다. 추출 품질은 세 모델의 차이가 크지 않았습니다. 관련 글 50건에서 세 모델 모두 추출에 실패한 경우는 없었고, "고객 표현을 원문 그대로 인용하라"는 지시는 Air API와 gpt-5-mini가 50건 중 46건, gpt-5가 34건에서 지켰습니다. gpt-5는 원문을 그대로 가져오기보다 표현을 매끄럽게 다듬는 경우가 더 많았습니다. 아쉬운 점도 있었습니다. 요약 단계에서 한국어 문장 중간에 중국어 단어가 섞여 나온 경우가 한 번 있었습니다. 수만 건을 처리하는 작업이라면 이런 드문 오류도 생길 수 있습니다. 따라서 실제 운영에서는 한글과 영문 외의 문자가 섞였는지 검사하는 간단한 후처리를 추가해두는 편이 안전합니다.
*품질 판정은 100건 표본을 기준으로 한 결과이며, 작업 종류가 달라지면 결과도 달라질 수 있습니다.
📊 에이전트가 요약한 것: 사용자들은 '가격'보다 '예측'을 이야기한다
에이전트의 마지막 단계인 요약 단계에서는, 위에서 추출된 고민을 200건씩 묶어 읽고 반복되는 고민 상위 5개와 대표 고객 표현, 추천 콘텐츠 주제를 주간 브리프로 정리했습니다. 이번 실행에서는 관련 글 8,861건이 브리프 46개로 요약됐습니다. 아래는 그중 한 브리프의 상위 고민 목록 결과를 그대로 옮긴 것입니다.
9월 3주차 브리프 내용 (200건 묶음 1개의 상위 고민 5개)
비용 vs. 성능/보안의 삼각 균형 붕괴
GPU 투자 회수(RoI) 불확실성과 금융 리스크
오픈소스 모델의 보안 취약점과 악용 우려
로컬 추론의 한계와 하드웨어 병목 현상
클라우드/API 의존도 탈피와 데이터 주권 요구
브리프 하나만 보면 흔히 예상할 수 있는 목록입니다. 그런데 형식이 온전한 브리프 45개를 겹쳐 보고 분류 결과와 비교하자, 건수만 봐서는 보이지 않던 패턴 세 가지가 드러났습니다.
1. 사람들이 가장 많이 말한 고민과 가장 절박하게 말한 고민은 다르다
고민 유형 | 건수 (비중) | 부정적인 글 비율 | 브리프 1순위 (단독 기준) |
성능·안정성 | 4,181 (47%) | 34% | 1 / 45 |
비용 부담 | 3,086 (35%) | 58% | 35 / 45 |
단순 건수만 보면 성능·안정성이 47%로 비용 부담(35%)보다 많았습니다. 그런데 요약 단계에서는 순서가 완전히 뒤집혔습니다. 브리프 45개 중 42개가 1순위 고민에 비용을 포함시켰고(그중 7개는 "비용과 성능의 균형"처럼 둘을 함께 언급), 45개 모두 상위 5개 안에 비용을 넣었습니다. 반면 성능·안정성만 단독으로 1순위에 오른 브리프는 1개였습니다. 차이는 감정의 온도에서 나왔습니다. 성능·안정성 글 중 부정적인 글은 34%로, 벤치마크 비교나 설정 팁처럼 중립적인 정보 교환도 많았습니다. 반면 비용 부담 관련 글은 과반수 이상인 58%가 부정적인 글이었습니다. 즉, 성능은 더 자주 이야기됐지만 비용은 더 절박하게 이야기됐습니다. 많이 언급되는 문제와 강하게 불편해하는 문제는 같지 않을 수 있습니다. 단순 빈도 집계만 했다면 놓쳤을 차이였습니다.
2. 비용 불만의 핵심은 '비싸다'보다 '알 수 없다' 이다.
비용 관련 글을 조금 더 들여다보자 또 다른 패턴이 보였습니다. 사람들이 단순히 "가격이 너무 높다"고만 말하는 것은 아니었습니다. 브리프 45개 중 13개(29%)가 상위 고민으로 '예측 불가능한 지출'과 '비용의 불투명성'을 언급했습니다. 구독 요금제의 사용 한도가 체감되지 않는다는 이야기, GPU 시간 단위 할당보다 토큰 단위 과금이 계산하기 쉽다는 이야기, 에이전트가 예상보다 훨씬 많은 토큰을 소비한다는 이야기가 반복됐습니다. 결국 단순히 얼마나 비싼가 뿐만 아니라 이번달에 얼마가 나올지 내가 예측할 수 있는가도 사용자에게는 중요한 문제였습니다. 실제로 AIEEV가 이전에 발행한 콘텐츠에서도 AI 인프라 비용을 미리 계산하고 사용량과 비용을 투명하게 확인하는 방법을 다룬 글에 높은 관심이 이어졌습니다. 이번 분석은 이러한 관심이 단순히 ‘더 싼 가격’을 찾는 데서 그치지 않고, 예측 가능하고 이해하기 쉬운 비용 구조에 대한 요구와도 연결되어 있음을 보여줍니다.
"I have no clue what 1x is on a given day" (그날그날 '1배'가 얼마만큼인지 전혀 모르겠다)
"token-based pricing is much easier to reason about than GPU-time quotas" (토큰 기반 과금이 GPU 시간 할당제보다 훨씬 예측하기 쉽다)
"watching CI in an agent loop is that it burns tons of tokens" (에이전트 루프로 CI를 지켜보게 하면 토큰이 엄청나게 소모된다)
3. 사용자는 비용 부담과 운영 부담 사이에서 고민하고 있다.
비용 부담으로 분류된 글 중 9.4%는 로컬 실행이나 자체 호스팅을 함께 언급했습니다. 브리프에서도 45개 중 37개(82%)가 하드웨어·로컬 실행 관련 고민을, 27개(60%)가 특정 공급자에 대한 의존을 상위 고민에 올렸습니다. 다만 로컬로 옮기면 VRAM 부족과 속도, 운영 부담이라는 다른 벽을 만난다는 이야기도 함께 나왔습니다. 결국 사용자들은 API 비용은 부담스럽고, 직접 돌리자니 하드웨어가 따라주지 않는 사이에서 선택지를 저울질하고 있었습니다.
"straight up can't afford frontier models" (최신 고성능 모델은 도저히 감당이 안 된다)
마케팅팀이 얻은 시사점
"AI 인프라 사용자는 저렴한 가격을 원한다"는 누구나 짐작하는 이야기입니다. 이번 요약이 알려 준 것은 그보다 한 단계 구체적인 우선순위였습니다. 사용자들의 실제 목소리는 "얼마가 나올지 미리 알고 싶다", "특정 공급자에 묶이고 싶지 않다"에 더 가까웠습니다. 가격을 낮추는 것만큼이나, 비용이 어떻게 계산되고 얼마가 나오는지 투명하게 보여 주는 것이 중요하다는 뜻입니다. 이 글에서 호출 수와 토큰, 청구 금액을 전부 공개한 것도 같은 이유입니다.
*고민 유형과 주제 집계는 에이전트의 분류 결과와 브리프의 고민 항목을 키워드로 묶어 센 근사치입니다. Hacker News는 영어권 개발자 커뮤니티라 국내 사용자의 고민과는 차이가 있을 수 있습니다.
🛠️ 이번 실험에서 배운 세 가지
비용과 품질을 나란히 놓고 보니, 어떤 모델을 쓰느냐만큼이나 어떻게 쓰느냐가 결과를 크게 바꾼다는 점이 분명해졌습니다. 에이전트를 직접 운영하거나 도입을 검토하는 팀이라면 참고할 만한 세 가지를 정리했습니다.
비용은 호출이 가장 많은 단계에서 결정됩니다.
해당 실험의 경우, 전체 호출의 83%를 차지한 분류 단계가 비용의 절반을 차지했습니다. 비용을 줄이고 싶다면 가장 비싼 모델부터 볼 게 아니라, 가장 자주 부르는 단계에 어떤 모델을 쓰는지부터 보는 편이 효과가 큽니다.
설정 하나가 모델 교체보다 큰 차이를 만들 수 있습니다.
분류 단계에서 추론 기능을 끄자 한 건당 출력 토큰이 780~2,840개에서 평균 21개로 줄었습니다. 짧은 판단만 필요한 작업에서 불필요한 추론을 켜 두면 모델을 바꾸지 않아도 비용이 수십 배 불어날 수 있습니다. 그래서 모델 가격표를 비교하기 전에 지금 그 모델이 실제로 몇 개의 토큰을 쓰고 있는지, 해당 작업에 적절한 토큰이 맞는지를 확인하는 편이 좋습니다.
모델을 바꿀지는 100건이면 판단할 수 있습니다.
이번 품질 비교에 사용한 100건은 세 모델을 모두 합쳐도 $0.20이 들지 않았습니다. 그러니 "싼 모델이 괜찮을까?"를 감으로 판단할 필요가 없습니다. 실제 데이터 100건 정도를 뽑아 직접 비교해보면 됩니다.
이때 정확도 숫자 하나만 보는 것도 충분하지 않습니다. 어떤 종류의 오답인지까지 확인해야 합니다. 나중에 사람이 쉽게 걸러낼 수 있는 오답인지, 아니면 반드시 찾아야 하는 데이터를 놓치는 오답인지에 따라 같은 ‘오답 1건’의 의미가 완전히 달라지기 때문입니다.
실제로 사용한 프롬프트
52,406번의 호출에 사용한 지시문은 의외로 길지 않았습니다. 마케팅팀에서 분류, 추출, 요약 단계에 실제로 사용한 프롬프트는 다음과 같습니다. 세 프롬프트 모두 시스템 프롬프트로 넣고, 분석할 대상 글은 사용자 메시지로 따로 전달했습니다. 세 단계 모두 추론 기능을 끄고, 분류와 추출 단계에는 JSON 모드를 적용했습니다.
1. 분류 (Qwen3.5-9B)
다음은 Hacker News 글/댓글이다. JSON으로만 답하라.
{"relevant": true|false, // AI 인프라, GPU, 추론 비용, 모델 서빙과 관련 있는가
"category": "비용 부담"|"성능/안정성"|"도입 고민"|"제품/출시 소식"|"기타",
"sentiment": "negative"|"neutral"|"positive"}
2. 추출 (Qwen3.6-35B-A3B)
다음 글에서 AI 인프라 사용자의 실제 고민을 뽑아 JSON으로만 답하라.
{"pain_point": "한국어 한 문장 요약",
"customer_phrase": "원문에서 고객 언어가 드러나는 짧은 구절(영어 원문 그대로)",
"content_idea": "이 고민을 다룰 블로그 주제 한 줄(한국어)"}
3. 요약 (Qwen3.6-35B-A3B)
아래는 AI 인프라 커뮤니티에서 뽑은 페인포인트 목록이다. 마케터가 읽을 주간 브리프를 한국어로 써라.
반복되는 고민 상위 5개, 대표 고객 언어(각 항목의 "원문" 영어 구절을 그대로 인용), 추천 콘텐츠 주제 3개. 과장 없이, 목록에 없는 수치는 만들지 말 것.
보시다시피 지시문 자체는 몇 줄에 불과합니다. 5만 건을 처리하는 데 필요했던 것은 긴 프롬프트가 아니라, 작업을 작은 단계로 나누고 각 단계마다 맞는 모델과 설정을 고르는 일이었습니다.
마치며
상위 모델이 필요한 순간은 분명히 있습니다. 이번 실험에서도 분류 정확도는 gpt-5가 가장 높았습니다. 다만 하루 수만 번 반복되는 일이라면, 그 정확도 차이가 16배의 비용만큼 가치가 있는지는 따져 볼 만합니다. 휴대폰 요금제를 바꾸기 전에 사용량 내역부터 확인하듯, AI 모델도 먼저 재 보고 고르는 편이 좋습니다. 200건 테스트와 100건 비교에 든 비용은 합쳐도 1달러가 되지 않았습니다. 지금 AI 모델을 연결해 수행하고 있는 작업이 있다면 Air API로 작업 결과와 비용을 바로 비교해 보세요. 이번 실험에 쓴 Qwen3.5-9B와 Qwen3.6-35B-A3B를 비롯해 Air API는 다양한 오픈소스 모델을 OpenAI 호환 방식으로 제공하고 있습니다. 쓰고 계신 코드에서 API 키와 base URL만 바꿔 실험해보세요.
🚀 Qwen3.5-9B : 빠르고 비용 효율적인 분류·반복 작업에 적합
👀 Qwen3.6-35B-A3B : 더 높은 이해력이 필요한 추출·요약 작업에 활용
🔥 Air API 튜토리얼 : API 연결 방법과 사용 가이드 확인
