사내 리서치 에이전트로 API를 52,406번 호출한 실제 비용과 모델 구성, 유명 API 대비 비용·품질 비교 결과를 공개합니다.

안녕하세요. AIEEV 개발팀에서 AI 인프라 연구개발을 담당하고 있는 조용래입니다. 분산 시스템 성능 확장성 및 신뢰성을 주제로 컴퓨터 공학과 박사 학위를 받았으며, 지금은 Air Cloud 위에서 LLM 서빙의 효율과 신뢰성, 그리고 AI 에이전트 기술 연구개발에 관심을 두고 일하고 있습니다. AI 에이전트처럼 한 번의 요청에 모델을 수십, 수백 번씩 호출하는 서비스가 늘어날수록, 추론 비용 청구서는 예상보다 훨씬 빠르게 불어납니다. 회사에서 에이전트 기능을 붙여 보신 분이라면 한 번쯤 겪어보셨을 겁니다. AIEEV가 줄곧 붙들고 있는 문제의식도 바로 여기서 출발합니다. 이 글은 그 문제를 연구자의 시선으로 끝까지 파고든 기록입니다. 2부로 나눠, 1편에서는 AI 에이전트가 서빙 인프라에 던지는 도전이 무엇인지 세계 최고 시스템 학회들의 최신 연구로 짚어보고, 2편에서는 그 흐름이 왜 "아주 많은 소비자용 GPU 위에서 돌아가는 작은 모델들"