컴퓨팅 자원은 왜 다시 흩어지는가
최근 한 주 사이 AI에 관심을 두고 계셨다면, 다음 중 하나 이상의 소식은 이미 접하셨을 겁니다.
기업공개를 준비 중인 앤트로픽이 30조 달러가 넘는 잠재 시장 규모를 투자자들에게 제시하는 방안을 검토하고 있다는 소식
AI가 기존 소프트웨어 산업을 무너뜨릴 것이라는 ‘소프트웨어 종말론’과 이를 둘러싼 반론
엔비디아가 78 TOPS의 연산 성능을 갖춘 엔트리급 엣지 AI 모듈을 공개했다는 소식
자본시장, 소프트웨어, 클라우드 인프라, 엣지 하드웨어. 언뜻 보면 서로 다른 분야에서 나온 이야기입니다. 하지만 나란히 놓고 보면 모두 하나의 질문으로 모입니다. 앞으로 늘어나는 AI 연산을 어디에서, 어떤 구조로 처리할 것인가. 결국 클라우드 전략에 관한 질문입니다. 지난 10년간 컴퓨팅은 한 방향으로만 움직였습니다. 흩어져 있던 서버는 데이터센터로 모였고, 데이터센터는 다시 몇 개의 하이퍼스케일 리전으로 모였습니다. 규모의 경제가 확실하게 작동했으니 자연스러운 흐름이었습니다. 그런데 2026년의 신호들은 반대 방향을 가리킵니다. 왜 지금, 다시 흩어지는 걸까요?
📈 신호 1. 시장의 기준선이 소프트웨어에서 노동으로 옮겨갔다
앤트로픽이 IPO 투자설명서에서 총주소가능시장(TAM)을 30조 달러 이상(한화로 4경 원 수준)으로 제시하는 방안을 검토하고 있습니다. 여기서 주목해야 할 것은 계산 방식 입니다. 특정 산업이나 소프트웨어 시장을 기준으로 잡지 않고 AI 모델이 수행할 수 있는 업무 전체를 시장으로 계산했습니다. 소프트웨어 라이선스가 아니라 인간의 노동 자체를 잠재 시장으로 본 것입니다. 물론 이 숫자를 현실적인 매출 전망으로 받아들이기는 어렵습니다. 앤트로픽의 26년 2분기 매출은 116억 달러이며, 팩트셋에 따르면 S&P 1500에 포함된 기술기업 191곳의 지난해 매출을 모두 합쳐도 2조 4,000억 달러에 그칩니다. 30조 달러는 현재 기술 산업 전체의 규모를 훌쩍 뛰어넘는 수치입니다. 따라서 이 숫자의 정확성보다 주목할 점은 시장 수요를 산정하는 기준이 바뀌고 있다는 사실입니다. 소프트웨어 시장이 아닌, AI가 대신할 수 있는 인간의 업무 전체를 잠재 시장으로 보기 시작한 것입니다.
💸 신호 2. 종말론이 실제로 가리킨 것은 예산 항목의 이동이었다
이처럼 AI가 기존 소프트웨어 시장을 넘어 인간의 업무 자체를 잠재 시장으로 삼기 시작하면서, 기존 소프트웨어 산업의 미래를 둘러싼 논쟁도 본격화됐습니다. 올해 초에는 AI 에이전트가 기존 SaaS의 기능을 대체하고, 기업의 IT 예산마저 애플리케이션에서 AI 인프라로 이동하면서 전통적인 소프트웨어 산업이 위축될 것이라는 ‘소프트웨어 종말론’이 확산됐습니다. 반론도 나왔습니다. 웨드부시의 댄 아이브스는 이 같은 전망에 선을 그었습니다. 그는 CNBC에서 하이퍼스케일러와 AI 클라우드 사업자, 엔비디아를 향한 수요가 여전히 강하다며, 기업들이 AI 투자를 실제 상용 유스케이스로 전환하기 시작한 지금을 중요한 변곡점으로 꼽았습니다.
논쟁 자체보다 흥미로운 건 양쪽이 공유하는 전제입니다. 소프트웨어 종말론을 주장하는 쪽도, 반박하는 쪽도, 기업의 IT 지출이 애플리케이션 계층에서 인프라 계층으로 이동하고 있다는 점에는 이견이 없습니다. 차이는 그 이동이 기존 소프트웨어 기업을 무너뜨릴 것인가에 대한 판단뿐입니다. 이 이동은 AI 제품을 만드는 팀에게 아주 구체적인 결과를 남깁니다. 매출은 사용자당 구독료로 들어오는데 원가는 실행당 추론 비용으로 나가는 구조가 되면, 인프라 단가가 곧 제품의 마진율이 됩니다. 예전에는 인프라 비용이 관리 항목이었다면 이제는 사업 모델의 변수입니다. 같은 변화는 조직에서도 나타납니다. 지난 글에서 다뤘듯이 AI 비용을 관리하는 FinOps 팀의 비중은 2024년 31%에서 2026년 98%로 올랐고, 그중 78%는 재무가 아니라 CTO나 CIO 산하에 있습니다. 비용을 줄이는 일이 회계 업무가 아니라 엔지니어링 의사결정이 되었다는 뜻입니다. 오라클도 같은 지점을 짚었습니다. 오라클 클라우드 인프라스트럭처 총괄 부사장 카란 바타(Batta)는 "추론이 많은 고객에게 가장 큰 운영 비용이 될 것"이라고 말했습니다. 그리고 기업들이 토큰 비용, GPU 활용률, 네트워크 효율, 운영 단순성 전반의 최적화를 요구하고 있다고 덧붙였습니다.
🌐 신호 3. 분산 클라우드에 대한 새로운 수요
Batta의 이야기는 비용에서 끝나지 않습니다. 추론 단가를 낮추려면 추론을 어디에서 돌릴지부터 정해야 하는데, 그 질문의 출발점으로 그는 기업 데이터가 한 곳에 있지 않다는 사실을 꺼냅니다. "대부분의 기업 데이터는 한 클라우드에만 있지 않습니다. 온프레미스에도 있고, 오라클 데이터베이스에도 있고, 다른 클라우드 사업자에게도, 네오 클라우드에도 있습니다." 그리고 고객들은 "데이터를 원래 있는 자리에 두고 싶어한다"고 설명합니다. 데이터를 AI가 있는 곳으로 옮기는 대신, AI를 데이터가 있는 곳으로 보내는 방향입니다.
이유는 규제와 데이터 주권입니다. 규제 산업에서는 데이터의 물리적 위치가 협상 대상이 아니고, 그렇다고 위치별로 AI 전략을 따로 세울 수도 없습니다. 그래서 위치는 흩어지되 거버넌스는 일관되어야 한다는 요구가 생깁니다. 문제의 성격도 바뀌었습니다. Batta는 이렇게 정리했습니다. "AI 모델을 어떻게 만들 것인가에서, 조직 전체에 걸쳐 AI를 어떻게 운영할 것인가로 옮겨갔습니다." 모델 선택이 관심사이던 단계에서 벗어나, 기업 데이터 연결, 거버넌스 일관성, 민감 정보 보호, 수천 명 규모로 확산될 때의 비용 통제가 실제 의사결정 항목이 되었다는 뜻입니다. 오라클이 이에 대응하는 방식은 전 세계 50~70개의 전용 리전과 오라클 알로이를 두고, 퍼블릭 클라우드와 고객 전용 시설, 클라우드앳커스터머, 소버린 클라우드, 파트너 클라우드에서 동일한 코드를 돌리는 것입니다. 멀티클라우드의 의미도 달라졌습니다. 예전에는 특정 벤더에 묶이지 않기 위한 방어 전략이었다면, 지금은 "어디에 있든 가장 좋은 것을 고를 자유"를 원하는 공격적 선택이라는 설명입니다.
정리하면, 분산은 더 이상 예산이 부족할 때 고르는 차선책이 아닙니다. 엔터프라이즈 요건 자체가 분산을 요구하는 쪽으로 이동했습니다.
🤖 신호 4. 추론은 이미 엣지까지 내려가 있다
그렇다면 흩어진 자리에서 추론을 돌리는 일이 실제로 가능한가. 하드웨어 쪽에서는 답이 나오고 있습니다.
엔비디아가 공개한 젯슨 오린 나노 2는 78 TOPS의 AI 연산 성능을 냅니다. 같은 크기의 이전 세대와 비교하면 추론 성능이 최대 두 배이고, 15W 모드에서는 이전 성능을 유지하면서 전력을 40% 덜 씁니다.
성능보다 중요한 건 등급입니다. 이 제품은 엔비디아 라인업에서 엔트리급입니다. 데이터센터에 들어가는 물건이 아니라 드론과 청소 로봇과 공장 검사 장비 안에 들어가는 물건입니다. 알파벳 자회사 윙은 드론 배송에 도입을 검토하고 있고, 매틱 로보틱스는 가정용 청소 로봇에 대화형 AI와 제스처 인식을 넣고 있습니다. 코그넥스(Cognex)와 두산 밥캣(Doosan Bobcat)처럼 산업 현장의 품질 검사와 이상 탐지를 다루는 쪽에서도 검토가 진행 중입니다. 이 정도 추론을 돌리려면 얼마 전까지 상위 등급 장비나 클라우드 연결이 필요했습니다. 그게 엔트리급에서 가능해졌다는 건, 추론이 특별한 자원을 갖춘 곳에서만 일어나는 일이 아니게 되었다는 뜻입니다. 그래서 워크로드를 나누는 기준도 바뀝니다. 모델이 얼마나 큰가가 아니라, 이 연산이 어디에서 일어나야 하는가가 먼저 오는 질문이 됩니다. 위치가 기준이 되는 순간 인프라는 한 덩어리가 아니라 여러 지점의 조합이 됩니다.
🧭 네 신호를 한 문장으로: 학습은 모이고, 추론은 흩어진다
네 가지 신호를 겹쳐 놓으면 하나의 그림이 나옵니다. 수요는 소프트웨어 라이선스가 아니라 업무 실행 단위로 커지고 있습니다(신호 1). 그 결과 지출은 애플리케이션에서 인프라로 이동하고, 추론 비용이 최대 운영 비용이 됩니다(신호 2). 그런데 그 추론은 데이터가 있는 곳에서 일어나야 하고, 데이터는 원래 흩어져 있습니다(신호 3). 그리고 흩어진 곳에서 추론을 돌릴 하드웨어는 이미 준비되고 있습니다(신호 4). 대규모 사전학습은 여전히 거대한 집약형 인프라를 필요로 합니다. 그 방향은 바뀌지 않습니다. 바뀌는 쪽은 추론입니다. 추론은 학습과 요구 조건이 다릅니다. 한 번에 몰아서 오래 돌리는 대신, 상시로, 여러 지점에서, 예측하기 어려운 부하로 들어옵니다.
구분 | 중앙집중형 전제 | 분산형 전제 |
주요 워크로드 | 대규모 학습 | 상시 추론 |
비용 구조 | 확보한 용량 기준 | 실제 실행량 기준 |
배치 기준 | 리전 선택 | 데이터 위치와 지연시간 |
확장 방식 | 인스턴스 증설 | 노드 단위 유연 확장 |
핵심 제약 | 가용 용량 | 단가와 이식성 |
✅ 그래서 지금 점검해볼 것들
지금 AI 제품을 운영하거나 준비 중인 팀이라면, 다음 다섯 가지를 확인해보시길 권합니다.
1. 추론 비용을 실행 단위로 다시 계산해보세요. 월 인스턴스 비용이 아니라 요청 1건당, 사용자 1명당 원가가 얼마인지 나와야 합니다. 이 숫자가 없으면 사용량이 늘었을 때 마진이 어떻게 되는지 예측할 수 없습니다.
2. 워크로드를 세 갈래로 분류해보세요. 대규모 학습, 상시 추론, 엣지 추론은 필요한 인프라가 다릅니다. 하나의 인프라로 세 가지를 모두 처리하고 있다면 어딘가에서 비용이 새고 있을 가능성이 높습니다.
3. 모델 크기를 워크로드에 맞추세요. 요약, 분류, 구조화된 출력 생성 같은 반복 작업에는 소형 모델로 충분한 경우가 많습니다. 가장 큰 모델을 기본값으로 두는 습관이 추론 원가를 밀어 올립니다.
4. 이식성을 미리 확보하세요. 인프라를 옮길 수 있어야 협상력도 생깁니다. OpenAI 호환 인터페이스나 컨테이너 표준처럼 이전 비용을 낮추는 선택지가 있는지 확인해두면 좋습니다.
5. 데이터 위치 제약을 먼저 정리하세요. 어떤 데이터가 어디를 벗어날 수 없는지 정리되어 있지 않으면, 인프라 설계를 마친 뒤에 되돌리는 일이 생깁니다.
✅ 분산 클라우드, Air Cloud를 사용해야 하는 이유
결국 중요한 것은 추론 비용은 낮추되, 워크로드와 데이터가 있는 위치에 맞춰 자원을 유연하게 구성하고 필요할 때 다른 인프라로 옮길 수 있어야 한다는 것입니다. Air Cloud는 이러한 조건을 분산형 인프라 구조로 풀고 있습니다.
추론 원가. Air Cloud는 이미 여러 지역에 존재하는 GPU 자원을 하나의 인프라로 연결합니다. 대규모 데이터센터를 새로 구축하는 방식보다 고정비 부담을 줄일 수 있어, 기존 중앙집중형 클라우드 대비 최대 40% 낮은 비용으로 AI 워크로드를 운영할 수 있습니다. 추론량이 늘어날수록 이 단가 차이는 제품의 수익성에도 직접적인 영향을 줍니다.
실행량 기반 확장. GPU 사용률이 아니라 실제 토큰 처리량을 기준으로 오토스케일링합니다. 확보해둔 용량이 아니라 처리한 만큼을 기준으로 삼는 방식이라, 부하가 불규칙한 추론 워크로드에 맞춰 움직입니다.
데이터가 있는 곳에서 돌리기. Private Air Cloud는 기업이 이미 보유한 GPU, NPU, CPU 자원을 연결해 전용 클러스터로 만듭니다. Hybrid Air Cloud는 내부 인프라와 Air Cloud를 하나의 클러스터로 묶어, 트래픽이 늘면 외부로 확장하고 장애 시에는 자동으로 전환합니다. 데이터를 옮기지 않고 연산을 데이터 쪽으로 보내는 구성입니다.
옮기는 비용 낮추기. Air API는 OpenAI 호환 REST 인터페이스를 제공합니다. Air Container는 표준 컨테이너 기반으로 워크로드를 배포합니다. 기존 애플리케이션의 구조를 크게 변경하지 않고 엔드포인트를 교체하거나 컨테이너를 이전할 수 있어, 인프라별 비용과 성능을 비교하기 쉽습니다.
흩어진 노드의 신뢰 확보. 분산 인프라에서는 자원의 수보다 각 노드를 신뢰할 수 있는지가 중요합니다. AIEEV는 외부 유휴 자원과 자체 운영 노드를 함께 구성하고, ISO 27001 인증을 기반으로 한 정보보호 체계를 적용합니다. 각 노드는 TPM 기반 하드웨어 바인딩 키로 검증하며, 노드 간 통신은 암호화된 메쉬 네트워크로 보호합니다.
Air Cloud가 지향하는 것은 모든 연산을 무조건 분산시키는 것이 아닙니다. 대규모 학습처럼 중앙집중형 인프라가 유리한 작업은 그대로 두고, 비용과 데이터 위치, 지연시간에 민감한 추론 워크로드를 더 적합한 위치에서 실행할 수 있도록 선택지를 넓히는 것입니다. 지금 Air Cloud에서 현재 쓰고 있는 모델을 그대로 올려 추론 단가와 응답 속도를 비교해보세요.
