100조 토큰 데이터로 본 모델 라우팅 시대, AI 서비스를 만드는 팀이 모델과 인프라를 고르는 기준을 정리합니다.

사내 리서치 에이전트로 API를 52,406번 호출한 실제 비용과 모델 구성, 유명 API 대비 비용·품질 비교 결과를 공개합니다.

AI 엔지니어링 리드에게 요즘 가장 골치 아픈 게 뭐냐고 물으면, 의외로 모델 자체를 꼽는 경우는 거의 없습니다. 진짜 문제는 그 아래 인프라, 정확히는 "GPU 용량을 대체 얼마나 확보해둬야 하는가"입니다. 2026년 3월 Akamai가 AI 실무자 200명을 대상으로 진행한 설문에서 이 감각이 숫자로 확인됐습니다. AI 네이티브 팀의 65.9%가 GPU 용량 계획(capacity planning)을 스케일링 과정에서 가장 어려운 과제로 꼽았고, 이는 설문에 포함된 다른 모든 (레이턴시, 비용까지 포함한) 운영 이슈를 제친 1위였습니다. [1] 이건 소수가 겪는 특수한 고충이 아닙니다. 응답자의 75.5%가 엔지니어, 아키텍트, DevOps 실무자였고, 응답자의 76%가 기업의 예산과 방향을 정하는 의사결정권자였습니다. 즉, 실무자와 리더 모두가 공통으로 꼽은 문제라는 뜻입니다. 흥미롭게도, 같은 현상을 다른 곳에서도 확인할 수 있습니다. 202

1편에서는 AI 에이전트가 왜 기존 서빙 시스템의 가정을 무너뜨리는 '프로그램형 워크로드'인지, 그리고 세계 최고 시스템 학회들이 이 문제를 어떻게 다루고 있는지 살펴봤습니다. CacheBlend 사례에서 확인했듯, 그 답의 상당 부분은 GPU 메모리 바깥의 자원, 즉 소비자용 PC가 가진 DRAM과 SSD를 어떻게 활용하느냐에 달려 있었습니다. 이제 비용 이야기로 돌아와, 그 흐름이 왜 "소비자용 GPU 클라우드"라는 그림으로 수렴하는지 이어가 보겠습니다. 4. 그 많은 호출, 전부 초거대 모델이어야 할까: SLM이라는 답 NVIDIA Research는 지난해 "Small Language Models are the Future of Agentic AI"라는 도발적인 제목의 논문을 내놓았습니다 [1]. 요지는 이렇습니다. 에이전트 루프에서 실제로 발생하는 일의 상당수는 검색 결과 요약, tool 호출용 JSON 생성, 문서에서 정형 필드 추출,

월 20달러. 지금 AI 구독료는 한국 기준으로 대략 치킨 한 마리, 미국 기준으로는 스타벅스 커피 몇 잔 정도로 느껴집니다. BZCF의 한 글에서는 ChatGPT Plus나 Claude Pro 같은 월 $20 구독료가 미국·싱가포르·독일에서는 월급 대비 약 0.5%, 한국에서는 약 0.75% 수준이지만, 일부 개발도상국에서는 7~20%까지 체감될 수 있다고 비교했습니다. 같은 $20라도 어떤 나라에서는 생산성 도구이고, 어떤 나라에서는 부담스러운 고정비가 됩니다. 그런데 더 중요한 질문은 따로 있습니다. 이 가격이 앞으로도 월 $20에 머물 수 있을까요? 지금 우리가 내는 AI 구독료는 대부분 “대화형 AI” 기준입니다. 사람이 질문하고, 모델이 답하고, 다시 사람이 이어서 묻는 구조입니다. 하지만 AI가 점점 에이전트로 바뀌고 있습니다. 이제 AI는 답변만 하지 않습니다. 계획을 세우고, 검색하고, 파일을 읽고, 코드를 실행하고, 도구를 호출하