100조 토큰 데이터로 본 모델 라우팅 시대, AI 서비스를 만드는 팀이 모델과 인프라를 고르는 기준을 정리합니다.

에이아이브가 Startup Battlefield 200으로 TechCrunch Disrupt 2026에 참가했습니다. 현지 프로그램부터 피칭, Air Cloud 부스에서 나눈 이야기까지 소개합니다.

“AI를 우리 서비스에 적용하고 싶은데, 고객 데이터와 내부 문서는 어디서 처리해야 할까요? 이미 보유한 장비도 활용할 수 있을까요?” 안녕하세요. 에이아이브(AIEEV)입니다. 기업에서 AI 도입을 검토하다 보면 모델의 성능만큼이나 실행 환경을 고민하게 됩니다. 빠르게 자원을 확보하고 확장해야 하는 서비스에는 퍼블릭 클라우드를, 데이터와 운영 환경을 직접 통제해야 하는 업무에는 프라이빗 클라우드를 검토하죠. 업무에 따라 두 환경을 연결하는 하이브리드 방식도 선택할 수 있습니다. 만약 보안과 데이터의 문제로 자체 인프라에서 AI를 활용하기로 방향을 정해도 다음 과제가 남습니다. 보유한 GPU나 NPU에서 모델을 실행하고, 개발팀이 내부 서비스에서 원하는 모델을 호출해 응답을 받을 수 있도록 연결해야 합니다. 장비를 갖추는 일부터 실제 서비스에 AI를 적용하는 일까지, 준비해야 할 과정이 이어지는 것이죠. 이번에 소개할 프로젝트는 이 연결을 2주

사내 리서치 에이전트로 API를 52,406번 호출한 실제 비용과 모델 구성, 유명 API 대비 비용·품질 비교 결과를 공개합니다.

AI 엔지니어링 리드에게 요즘 가장 골치 아픈 게 뭐냐고 물으면, 의외로 모델 자체를 꼽는 경우는 거의 없습니다. 진짜 문제는 그 아래 인프라, 정확히는 "GPU 용량을 대체 얼마나 확보해둬야 하는가"입니다. 2026년 3월 Akamai가 AI 실무자 200명을 대상으로 진행한 설문에서 이 감각이 숫자로 확인됐습니다. AI 네이티브 팀의 65.9%가 GPU 용량 계획(capacity planning)을 스케일링 과정에서 가장 어려운 과제로 꼽았고, 이는 설문에 포함된 다른 모든 (레이턴시, 비용까지 포함한) 운영 이슈를 제친 1위였습니다. [1] 이건 소수가 겪는 특수한 고충이 아닙니다. 응답자의 75.5%가 엔지니어, 아키텍트, DevOps 실무자였고, 응답자의 76%가 기업의 예산과 방향을 정하는 의사결정권자였습니다. 즉, 실무자와 리더 모두가 공통으로 꼽은 문제라는 뜻입니다. 흥미롭게도, 같은 현상을 다른 곳에서도 확인할 수 있습니다. 202

개발 워크스테이션에도 GPU가 있고 연구실 서버에도 있습니다. 지사의 엣지 장비에도 가속기가 달려 있을 수 있죠. 그런데 막상 모델을 올리려고 하면 이야기가 달라집니다. 드라이버가 맞지 않거나 필요한 SDK가 없을 수 있고, 네트워크 문제로 외부에서 접근하지 못하는 경우도 있습니다. 분명 장비는 있는데 정작 서비스에서는 쓸 수 없는 겁니다. AIEEV Dev Team의 유기태 님은 이렇게 여러 곳에 흩어진 GPU와 NPU를 연결해 실제 AI 추론에 사용할 수 있는 분산 인프라를 개발하고 있습니다. 각 장비가 모델을 실행할 수 있는 상태인지 확인하고, 검증된 자원을 하나의 풀로 묶어 추론 요청을 처리하는 구조를 만들고 운영합니다. 지난 9월 1일에는 KCD x Ceph x OpenInfra Day Korea 2026에서 ‘Ray Serve in the Wild: GPU/NPU 기반 AI 인퍼런스 오토스케일링과 운영 경험’을 주제로 그동안의 경험도

안녕하세요. AIEEV 개발팀에서 AI 인프라 연구개발을 담당하고 있는 조용래입니다. Air API에 Qwen3.8-27B-BF16 모델이 새롭게 추가됐습니다. 현재 Air API의 Playground에서 테스트 환경을 제공하고 있어, 별도의 인프라나 서빙 엔진을 준비하지 않고도 지금 바로 실제 업무 데이터와 프롬프트로 성능을 시험해 볼 수 있습니다. 이번 글에서는 Qwen3.8-27B의 주요 특징과 공개 벤치마크를 먼저 살펴봅니다. 이어 단일 GPU 환경에서 측정한 처리량과 응답시간, 메모리 사용 특성을 공유하고, 이러한 결과를 실제 서비스의 모델 선택과 검증에 어떻게 활용할 수 있는지 정리하겠습니다. Qwen3.8-27B은 어떤 모델인가요? Qwen3.8-27B는 대화와 문서 이해, 코드 작성부터 여러 단계에 걸친 복잡한 작업까지 폭넓게 수행할 수 있는 멀티모달 AI 모델입니다. Alibaba Group의 Qwen Team이 2026년 8

최근 한 주 사이 AI에 관심을 두고 계셨다면, 다음 중 하나 이상의 소식은 이미 접하셨을 겁니다. 기업공개를 준비 중인 앤트로픽이 30조 달러가 넘는 잠재 시장 규모를 투자자들에게 제시하는 방안을 검토하고 있다는 소식 AI가 기존 소프트웨어 산업을 무너뜨릴 것이라는 ‘소프트웨어 종말론’과 이를 둘러싼 반론 엔비디아가 78 TOPS의 연산 성능을 갖춘 엔트리급 엣지 AI 모듈을 공개했다는 소식 자본시장, 소프트웨어, 클라우드 인프라, 엣지 하드웨어. 언뜻 보면 서로 다른 분야에서 나온 이야기입니다. 하지만 나란히 놓고 보면 모두 하나의 질문으로 모입니다. 앞으로 늘어나는 AI 연산을 어디에서, 어떤 구조로 처리할 것인가. 결국 클라우드 전략에 관한 질문입니다. 지난 10년간 컴퓨팅은 한 방향으로만 움직였습니다. 흩어져 있던 서버는 데이터센터로 모였고, 데이터센터는 다시 몇 개의 하이퍼스케일 리전으로 모였습니다. 규모의 경제가 확실하게 작동했으니 자

AIEEV Dev Team 김진범 님의 이야기 오픈소스에 기여한다고 해서 실력이 곧바로 늘어나는 것은 아닙니다. 문제를 재현하고, 코드의 흐름과 설계 배경을 들여다보고, 그 과정을 다른 사람도 이해할 수 있게 정리해야 비로소 기술이 손에 남습니다. AIEEV Dev Team의 김진범 님은 이 과정을 직접 실천해 온 개발자입니다. 지난 7월 4일, AWS Student Community Day 2026의 Career 트랙에서 "주니어가 회사의 기술을 이해하는 가장 빠른 방법: OSS에 기여하기"라는 주제로 첫 커뮤니티 발표를 진행했습니다. 오픈소스 활동을 시작하게 된 계기부터, AI 시대를 살아가는 주니어 개발자의 고민, 그리고 이번 발표에 담고 싶었던 메시지까지. 입사 3개월만에 회사를 가장 빠르게 이해해 나간 진범님의 이야기를 직접 들어봤습니다. 👋 안녕하세요, 진범 님. 간단한 소개 부탁드립니다. AWS Community Day 2026

1편에서는 AI 에이전트가 왜 기존 서빙 시스템의 가정을 무너뜨리는 '프로그램형 워크로드'인지, 그리고 세계 최고 시스템 학회들이 이 문제를 어떻게 다루고 있는지 살펴봤습니다. CacheBlend 사례에서 확인했듯, 그 답의 상당 부분은 GPU 메모리 바깥의 자원, 즉 소비자용 PC가 가진 DRAM과 SSD를 어떻게 활용하느냐에 달려 있었습니다. 이제 비용 이야기로 돌아와, 그 흐름이 왜 "소비자용 GPU 클라우드"라는 그림으로 수렴하는지 이어가 보겠습니다. 4. 그 많은 호출, 전부 초거대 모델이어야 할까: SLM이라는 답 NVIDIA Research는 지난해 "Small Language Models are the Future of Agentic AI"라는 도발적인 제목의 논문을 내놓았습니다 [1]. 요지는 이렇습니다. 에이전트 루프에서 실제로 발생하는 일의 상당수는 검색 결과 요약, tool 호출용 JSON 생성, 문서에서 정형 필드 추출,

안녕하세요. AIEEV 개발팀에서 AI 인프라 연구개발을 담당하고 있는 조용래입니다. 분산 시스템 성능 확장성 및 신뢰성을 주제로 컴퓨터 공학과 박사 학위를 받았으며, 지금은 Air Cloud 위에서 LLM 서빙의 효율과 신뢰성, 그리고 AI 에이전트 기술 연구개발에 관심을 두고 일하고 있습니다. AI 에이전트처럼 한 번의 요청에 모델을 수십, 수백 번씩 호출하는 서비스가 늘어날수록, 추론 비용 청구서는 예상보다 훨씬 빠르게 불어납니다. 회사에서 에이전트 기능을 붙여 보신 분이라면 한 번쯤 겪어보셨을 겁니다. AIEEV가 줄곧 붙들고 있는 문제의식도 바로 여기서 출발합니다. 이 글은 그 문제를 연구자의 시선으로 끝까지 파고든 기록입니다. 2부로 나눠, 1편에서는 AI 에이전트가 서빙 인프라에 던지는 도전이 무엇인지 세계 최고 시스템 학회들의 최신 연구로 짚어보고, 2편에서는 그 흐름이 왜 "아주 많은 소비자용 GPU 위에서 돌아가는 작은 모델들"

Colab Pro와 AirCloud의 요금·GPU·데이터 보존·AI 어시스턴트 차이를 실제 수치로 비교합니다.

에이아이브 김현경 사업리드의 이야기 좋은 기술이 곧 좋은 사업이 되는 것은 아닙니다. 기술이 고객의 문제를 해결하고, 실제 현장에 도입되고, 지속 가능한 매출로 이어지기까지는 수많은 빈칸을 채우는 사람이 필요합니다. AIEEV의 김현경 리드는 그 빈칸을 찾아 끝까지 연결하는 사람입니다. 통신사 B2B 현장과 AI 반도체 기업의 사업개발을 거쳐, 지금은 분산형 AI 클라우드라는 새로운 시장을 만들고 있습니다. 파트너 미팅부터 제품 기획, 고객 제안, 정부과제, 해외 사업, 운영 체계까지 업무에는 선명한 경계가 없습니다. 기술을 고객의 언어로 번역하고, 가능성을 다음 실행으로 바꾸는 현경님의 이야기를 들어봤습니다. 안녕하세요. 간단한 자기소개 부탁드립니다. 안녕하세요. AIEEV에서 사업을 맡고 있는 김현경입니다. 😊 저를 한 문장으로 소개한다면 ‘기술이 실제 사업이 되도록 연결하는 사람’이라고 말하고 싶어요. KT에서 B2B 영업과 IT 컨설팅을

크레딧 이후에도 지속 가능한 AI 인프라 - 하임덱스가 Air Cloud로 클라우드 벤더 다각화를 시작한 이유 영상 AI 서비스를 운영하려면 모델 성능만큼이나 이를 뒷받침하는 GPU 인프라가 중요합니다. 연구 단계에서는 다양한 알고리즘과 모델을 반복적으로 실험해야 하고, 서비스 단계에서는 고객 데이터를 빠르게 인덱싱하고 트래픽 변화에 맞춰 GPU 자원을 확장해야 합니다. 그러나 GPU 사용량은 일정하지 않기 때문에, 필요한 성능을 확보하면서 비용까지 예측 가능하게 관리하는 일은 쉽지 않습니다. 하임덱스(HEIMDEX)는 AI가 영상의 장면과 의미를 분석해 방대한 영상 콘텐츠를 검색·요약·관리할 수 있도록 지원하는 영상 인텔리전스 기업입니다. 사용자는 긴 영상을 직접 모두 확인하지 않고도 사람, 장소, 대사, 감정과 같은 단어만으로 필요한 장면을 찾을 수 있습니다. 이번 인터뷰에서는 하임덱스 공동창업자 강희조 CSO와 개발팀이 Air Cloud를 도

안녕하세요. AIEEV Biz & Strategy Team입니다. 사업이 성장하면 매출만 늘어나는 것은 아닙니다. 고객사별 제안과 계약이 늘고, 견적서와 거래명세서를 작성하는 횟수도 많아집니다. 세금계산서 발급일과 입금 여부를 확인하고, 발행한 파일을 다시 찾아 전달하는 일도 함께 늘어납니다. AIEEV도 B2B 프로젝트와 Air Cloud 플랫폼 사업이 함께 성장하면서 비슷한 변화를 겪었습니다. 고객사와 진행하는 PoC, 구축 프로젝트, 플랫폼 이용 건이 동시에 늘었고, 시기에 따라 한 달에 약 10~30건의 세금계산서를 작성하고 관리해야 할 정도로 매출 관련 업무가 많아졌습니다. 관리하고 있는 과제도 10건을 초과하여, R&D PM의 업무가 과중되고 있는 상황이었습니다. 사업이 잘되고 있다는 반가운 신호였지만, 관리 방식은 여전히 여러 엑셀과 Word 문서, 로컬 폴더에 나뉘어 있었습니다. 여기에 국책과제 예산과 증빙 문서까지 더해지면서 “어떤