Air Cloud 고객 사례: 2주 만에 구축한 NPU 기반 프라이빗 AI 플랫폼
“AI를 우리 서비스에 적용하고 싶은데, 고객 데이터와 내부 문서는 어디서 처리해야 할까요? 이미 보유한 장비도 활용할 수 있을까요?”
안녕하세요. 에이아이브(AIEEV)입니다. 기업에서 AI 도입을 검토하다 보면 모델의 성능만큼이나 실행 환경을 고민하게 됩니다. 빠르게 자원을 확보하고 확장해야 하는 서비스에는 퍼블릭 클라우드를, 데이터와 운영 환경을 직접 통제해야 하는 업무에는 프라이빗 클라우드를 검토하죠. 업무에 따라 두 환경을 연결하는 하이브리드 방식도 선택할 수 있습니다. 만약 보안과 데이터의 문제로 자체 인프라에서 AI를 활용하기로 방향을 정해도 다음 과제가 남습니다. 보유한 GPU나 NPU에서 모델을 실행하고, 개발팀이 내부 서비스에서 원하는 모델을 호출해 응답을 받을 수 있도록 연결해야 합니다. 장비를 갖추는 일부터 실제 서비스에 AI를 적용하는 일까지, 준비해야 할 과정이 이어지는 것이죠.
이번에 소개할 프로젝트는 이 연결을 2주 만에 구축한 사례입니다. 에이아이브는 국내 최대 AICC 플랫폼 A사의 NPU 기반 프라이빗 AI 플랫폼을 Private Air Cloud를 바탕으로 구성했습니다. NPU 모델 서빙과 LLM 라우팅까지 함께 연결해, A사 내부에서 다양한 모델을 빠르게 호출하고 활용할 수 있는 환경을 마련했습니다. 고객의 NPU 인프라가 내부에서 활용할 수 있는 AI 플랫폼으로 이어지기까지, 어떤 구성을 준비했는지 소개합니다.
1. 모델 실행부터 내부 활용까지, 하나의 흐름이 필요했습니다
언어모델을 처음 테스트할 때는 답변의 품질에 집중하게 됩니다. 질문을 잘 이해하는지, 긴 문서를 제대로 요약하는지, 원하는 형식으로 답하는지 확인하죠. 하지만 이 모델을 내부 서비스에 붙이려면 조금 다른 질문이 필요합니다.
“우리 프로그램에서 이 모델에 요청을 보내려면 어떻게 해야 할까?”
예를 들어 문서 요약 기능을 만든다고 생각해볼게요. 사람이 직접 문서를 입력해 결과를 확인하는 단계에서 나아가, 내부 도구가 문서를 전달하고 요약 결과를 받아 화면에 보여주는 흐름이 필요합니다. 이를 위해서는 모델을 실행하고 외부 프로그램의 요청을 받아 응답하는 모델 서빙 환경을 갖춰야 합니다. 또한 NPU 환경에서는 장비에 맞는 모델 실행 조건도 함께 살펴야 합니다. 사용할 수 있는 모델과 소프트웨어 구성이 장비에 따라 달라질 수 있기 때문인데요. 모델이 실행되는 환경과 개발팀이 이를 호출하는 방식을 함께 준비해야 내부 활용으로 이어질 수 있습니다. 이번 A사 프로젝트에서도 이 두 가지를 하나의 구축 범위로 다뤘습니다. NPU에서 모델을 구동하고, 내부 프로그램의 요청이 모델에 도달해 응답을 받을 수 있도록 연결하는 것이었습니다.
2. Private Air Cloud를 고객의 NPU 환경에 적용했습니다
Private Air Cloud는 기업이 보유한 GPU와 NPU 인프라를 활용해 프라이빗 AI 클라우드를 구축하는 에이아이브의 솔루션입니다. 기업의 자체 인프라에 AI 모델 실행과 활용을 위한 환경을 구성하는 구축형 제품이죠.
이번 프로젝트에서는 Private Air Cloud를 기반으로 A사의 NPU 프라이빗 플랫폼을 구성했습니다. 여기에 NPU 기반 모델 서빙 환경을 마련해, 내부에서 모델에 요청을 보내고 결과를 받을 수 있도록 했습니다.
이미 갖춰진 플랫폼을 고객 환경에 적용하면, 고객에게 필요한 모델 실행 환경과 연동 구성을 중심으로 구축을 진행할 수 있습니다. 이번에도 Private Air Cloud의 기반 위에 A사의 NPU 환경과 모델 활용에 필요한 구성을 연결했습니다. 이때 함께 준비한 것이 LLM 라우팅입니다. 여러 모델을 활용하려면 모델을 실행하는 것과 더불어, 각 요청을 어떤 모델로 전달할지 연결하는 경로도 필요하기 때문입니다.
3. LLM 라우팅으로 여러 모델의 호출 경로를 연결했습니다
활용할 모델이 하나일 때는 요청을 보낼 대상도 단순합니다. 하지만 여러 모델을 함께 검토하거나 사용하기 시작하면, 내부 프로그램에서 원하는 모델을 호출할 수 있는 경로가 필요해집니다. 같은 문서를 서로 다른 모델에 넣어 요약 결과를 비교하는 경우를 떠올려볼 수 있는데요. 개발팀이 각 모델의 결과를 확인하려면 요청이 해당 모델로 전달되고, 응답이 다시 돌아와야 합니다. A사에는 이를 위한 LLM 라우팅 플랫폼을 함께 구성했습니다. 내부에서 들어온 요청을 호출하려는 모델로 전달하고, 모델 서빙 환경과 연결하는 역할입니다. 전체 흐름은 다음과 같습니다.
내부 프로그램의 요청 → LLM 라우팅 → 모델 서빙 → 응답
여기서 서빙과 라우팅은 서로 다른 역할을 맡습니다. 서빙이 모델을 실행하고 요청을 처리한다면, 라우팅은 요청을 해당 모델에 전달합니다. 두 구성을 연결하면서 A사 내부에서 다양한 모델을 호출하고 활용할 수 있는 환경을 마련했습니다. 개발팀은 이 호출 경로를 통해 모델의 응답을 받아보고, 내부 도구에 어떻게 적용할지 검토할 수 있습니다. 문서 요약처럼 모델의 결과를 활용하는 기능도 이러한 연결 위에서 개발을 이어갈 수 있는 것이죠.
4. 플랫폼, 서빙, 라우팅을 2주 만에 함께 구성했습니다
프라이빗 AI 환경을 구축하는 과정에는 여러 작업이 맞물립니다. 모델을 배포하는 일뿐 아니라 접근 관리, 기존 시스템 연동, 사용자 테스트까지 프로젝트에 따라 필요한 범위가 달라집니다. 공개 사례를 보면 GreenM의 NPH Group 프라이빗 AI 검색 서비스는 LLM·벡터 저장소 구성과 기존 포털 연동, 사용자 테스트·교육까지 6주에 걸쳐 진행됐습니다. 이처럼 모델과 사용 환경을 연결하는 데는 여러 구성요소를 함께 준비하는 과정이 필요합니다. 다만 프로젝트마다 구축 범위와 환경이 다르므로 기간만으로 속도를 직접 비교하기는 어렵습니다.
이번 A사 프로젝트에서는 Private Air Cloud 기반 프라이빗 플랫폼, NPU 모델 서빙, LLM 라우팅을 2주 만에 함께 구성했습니다.
NPU 기반 프라이빗 플랫폼: A사의 NPU 환경에 Private Air Cloud 적용
모델 서빙: 모델을 실행하고 요청을 처리하는 환경 구성
LLM 라우팅: 내부 요청을 호출하려는 모델로 전달하는 경로 연결
2주 동안 준비한 세 가지가 연결되면서, A사 내부에서 다양한 모델을 빠르게 호출하고 활용할 수 있게 됐습니다. 고객의 NPU 인프라 위에 모델 실행과 내부 호출이 이어지는 환경을 마련한 결과입니다. 이번 구축에서 Private Air Cloud는 플랫폼의 기반을 제공했습니다. 그 위에 고객 환경에 맞는 모델 서빙과 호출 경로를 함께 구성하는 방식으로 구축을 진행할 수 있었습니다.
마치며
기업마다 활용하려는 모델도, 이를 연결할 내부 서비스도 다릅니다. 따라서 프라이빗 AI를 준비할 때는 보유한 컴퓨팅 자원, 사용할 모델, 내부 연동 범위를 함께 살펴볼 필요가 있습니다. 이번 A사 프로젝트에서는 이 세 가지를 연결해 NPU 기반 프라이빗 AI 플랫폼을 2주 만에 구축했습니다. Private Air Cloud를 기반으로 모델 서빙과 LLM 라우팅까지 구성해, 내부에서 다양한 모델을 활용할 수 있는 환경을 마련했습니다.
자체 GPU·NPU 인프라에 AI 모델을 배포하거나 내부 서비스와 연결하는 환경을 준비하고 계신가요? 에이아이브와 함께 보유한 인프라와 활용 목적에 맞는 프라이빗 AI 구성을 이야기해보세요.
.
.
.
