AI 인프라가 미래 도시를 설계하는 방법
- 6월 8일
- 8분 분량
여러분이 어릴 때 상상했던 미래 도시는 어떤 모습이었나요?
로봇이 아파트 단지의 쓰레기를 수거하고, 자율주행 차량이 도로를 달리며, 아이언맨의 자비스 같은 비서가 대신 일을 해주는 세상일 수도 있습니다. 영화 <월-E>에서는 사람들이 거대한 우주선 안 이동 의자에 앉아 가상세계 속에서 대부분의 일상을 보내기도 합니다.
미래 도시를 그린 수많은 상상 속 장면들은 서로 달라보이지만 한 가지 공통점을 가지고 있습니다. 바로 AI 입니다. 여러분이 이동을 할 때도, 누군가와 이야기를 할 때도, 업무를 할 때도 AI가 녹아들어 있습니다. 그런 점에서 미래 도시는 결국 수많은 AI 서비스가 동시에 작동하는 거대한 운영체제(OS)와도 같습니다. 최근에 이런 개념을 바탕으로 AI 시티, Agentic 시티라는 새로운 도시 비전이 등장하게 된 이유죠.
그런데 미래 도시의 AI 인프라는 어디서 어떻게 돌아가고 있을지 상상해보셨나요? 많은 사람들이 AI 시티를 이야기할 때 어떤 서비스를 만들 지 고민합니다. 하지만 현실 세계에서 중요한 점은 따로 있습니다.
'서비스를 지속적으로 운영할 수 있을까?'
AI는 컴퓨팅 자원을 필요로 합니다. 그리고 컴퓨팅 자원은 곧 비용입니다. 하루에 수백만 번의 AI가 호출되는 에이전트 시대에는 당연히 막대한 연산 자원이 필요합니다. 아무리 뛰어난 AI 서비스라도 운영 비용을 감당할 수 없다면 도시 규모로 확산될 수 없습니다. 결국 미래 도시의 실현 여부는 AI 자체보다 AI를 지탱하는 인프라에 달려 있습니다. 그렇다면 AI 인프라 관점에서 미래 도시는 어떤 모습일까요?
1. AI 인프라의 무게중심이 이동하고 있다
미래 도시를 실현하는 것은 결국 AI 인프라 설계 방식에 달려있습니다. 그리고 지금 그 설계 방식이 크게 바뀌고 있습니다.
2022년 ChatGPT의 등장 이후 AI 인프라는 지금까지 크게 세 단계를 거쳐 변화해오고 있습니다.
먼저 학습(Training) 중심 시대입니다. 이 때는 많은 양의 데이터를 학습 시켜 ChatGPT같은 거대 언어 모델을 만드는 것이 중요했기 때문에 한 번에 대규모 고사양 GPU를 집중적으로 투입했고, 중앙집중형 데이터센터는 이 방식에 가장 잘 맞는 구조였습니다.
두 번째는 추론(Inference) 중심 시대입니다. 모델을 만드는 것보다 모델을 실제 서비스에 활용하는 것이 중요해졌습니다. 사용자가 늘어날수록 AI 호출량이 증가했고 이에 따라 운영 비용 역시 지속적으로 누적되기 시작했습니다. 특히 위의 그림에서 볼 수 있듯이 2025년을 기점으로 추론이 학습량을 뛰어 넘으면서 상황은 달라졌습니다. 모델 학습을 위한 GPU 확보보다 많은 사용자의 요청을 안정적으로 처리할 수 있는 인프라 설계가 중요해졌습니다.
그리고 지금 우리는 세 번째 단계인 에이전트(Agent) 시대에 있습니다. 기존 챗봇이 사용자의 질문에 한 번 답변하는 구조였다면 AI 에이전트는 하나의 요청을 처리하기 위해 정보를 검색하고 여러 도구를 호출하고 결과를 검증하는 과정을 반복합니다. 하나의 요청이 수십에서 수백 번의 하위 연산 호출을 발생시키기 때문에 추론 수요는 이전 대비 더욱 폭발적으로 증가했습니다. 문제는 이 추론량을 기존의 중앙집중형 데이터센터 구조만으로 감당하기는 어렵다는 점입니다. 기존의 데이터센터 인프라는 H100, H200 같은 고사양 GPU를 한곳에 모아두기 때문에 수천억의 데이터센터 건설 비용, 대량의 전력을 공급하기 위한 전력 인프라와 GPU에서 발생하는 열을 처리하기 위한 냉각 시스템이 함께 필요합니다. 즉 막대한 초기 투자와 운영 비용이 수반되고, 이건 AI 서비스를 이용하는 사용자의 부담으로 이어지게 됩니다. 이전 포스트에서 다뤘던 '우리는 언제까지 커피 한 잔 값으로 AI를 사용할 수 있을까?'라는 질문 역시 같은 맥락에서 이해할 수 있습니다.
여기에 앞으로 AI는 도시 곳곳의 센서, 자율주행차, 로봇, 스마트 기기와 연결되며 물리 세계 전반으로 확장될 것으로 전망됩니다. 이른바 피지컬 AI(Physical AI) 시대입니다. 이러한 환경에서는 단순히 더 많은 연산을 처리하는 것뿐 아니라, 더 빠르게 더 다양한 장소에서 더 낮은 지연시간(실시간)으로 연산을 수행하는 것이 중요해집니다. 결국 모든 연산을 하나의 거대한 데이터센터에 모아 처리하는 방식은 한계에 직면할 수 밖에 없습니다.
2. 스마트시티가 마주한 병목과 해결책
중앙집중형 데이터센터 모델의 한계는 미래의 이야기가 아닙니다. 수많은 AI 서비스를 동시에 운영하면서 미래 도시를 실현하고 있는 도시들이 이미 있습니다. '스마트시티'입니다.
스마트시티는 교통, 환경, 안전, 에너지, 행정 등 도시 전반의 문제를 ICT 기술을 활용해 해결하는 도시를 의미합니다. 최근에는 AI를 활용해 도시를 실시간으로 분석하고 의사결정을 지원하는 방향으로 발전하고 있습니다. 어쩌면 스마트시티는 가장 먼저 등장한 'AI 시티' 라고 볼 수도 있습니다.
하지만 현재 대부분의 스마트시티는 여전히 구조적인 한계를 안고 있습니다. 도시 데이터의 일부만 클라우드로 이관되었을 뿐, 상당수 데이터는 기관별, 부서별로 분산되어 운영되고 있습니다. 교통 데이터는 교통 시스템에, 환경 데이터는 환경 시스템에, 안전 데이터는 별도의 관제 시스템에 저장됩니다. 결국 데이터가 서로 다른 사일로(Silo)에 갇히면서 도시 전체를 하나의 지능형 시스템처럼 실시간 분석하기 어려운 구조가 만들어집니다. 대규모 도시 환경에서 엣지 컴퓨팅이 기대만큼 빠르게 확산되지 못한 이유가 여기에 있습니다.
또 다른 문제는 데이터가 처리되는 방식입니다. 위 그림에서 볼 수 있듯이 현재 스마트시티의 상당수 서비스는 데이터를 중앙 데이터센터로 수집한 뒤 분석하는 구조를 사용합니다. 하지만 도시 규모가 커질수록 교통, 환경, 안전 센서에서 발생하는 데이터 역시 기하급수적으로 증가합니다. 모든 데이터를 중앙으로 전송하는 구조에서는 네트워크 트래픽이 집중되고 지연시간(Latency)이 증가할 수밖에 없습니다. 여기에 AI 에이전트와 실시간 분석 서비스가 확대되면서 문제는 더욱 커집니다. 도시 전역에서 발생하는 AI 추론 요청이 증가할수록 중앙 데이터센터의 연산 부담과 운영 비용 역시 함께 증가하기 때문입니다. 결국 스마트시티는 데이터 분산 문제뿐 아니라 네트워크 병목과 추론 수요 증가라는 새로운 과제도 함께 해결해야 합니다.
2024년 국토교통과학기술진흥원(KAIA)이 발간한 「초연결 지능도시 연구보고서」는 이 문제의 해법으로 멀티-분산 클라우드(Multi-Distributed Cloud)를 차세대 핵심 기술로 제시합니다. 멀티-분산 클라우드는 모든 데이터를 하나의 중앙 데이터센터로 모아 처리하지 않고 도시 곳곳에 분산된 컴퓨팅 자원을 하나의 클라우드처럼 연결해 활용하는 구조입니다. 교통 데이터는 교통이 발생하는 곳 가까이에서, 환경 데이터는 환경 센서와 가까운 곳에서 처리할 수 있기 때문에 네트워크 병목을 줄이고 실시간성을 높일 수 있습니다. 또한 특정 데이터센터에 모든 연산을 집중시키지 않아도 되기 때문에 확장성이 높고, 지역 단위의 유휴 자원까지 활용할 수 있습니다. 즉, 도시 전체를 하나의 거대한 컴퓨터처럼 동작하게 만드는 기술인 셈입니다. 이러한 구조에서는 도시 규모의 엣지 컴퓨팅 확산이 가능해집니다. 실시간 교통과 환경 데이터가 보다 빠르게 처리되고, 도시 전체 IT 인프라의 활용 효율도 향상됩니다. 나아가 다양한 AI 서비스가 동시에 운영되는 미래 도시에서도 증가하는 추론 수요를 보다 유연하게 감당할 수 있습니다. 결국 도시가 하나의 지능형 시스템으로 작동하기 위해서는 AI만 똑똑해지는 것이 아니라, 인프라 자체가 분산되어야 합니다.
3. 세계는 이미 시작했다
이 방향의 실험은 이미 시작됐습니다.
영국의 Heata는 가정의 온수 탱크 옆에 소형 서버를 설치합니다. 서버가 가동되면서 발생하는 열로 물을 데웁니다. 집주인은 온수 비용을 절감하고, Heata는 컴퓨팅 자원을 기업 고객에게 제공해 수익을 창출합니다. 현재 영국 에너지 기업 브리티시 가스(British Gas)와 협력해 100가구 규모의 시범 사업을 진행 중이며, 에너지 효율 인증 개선 기술로도 인정받고 있습니다. 서버 폐열을 온수로 전환한다는 점에서 친환경 인프라이기도 합니다.
미국의 스마트홈 기업 SPAN은 엔비디아, 주택 건설사 풀트그룹(PulteGroup)과 협력해 'XFRA' 프로젝트를 추진 중입니다. 신축 주택 외벽에 액체 냉각식 NVIDIA RTX Pro 6000 Blackwell GPU 캐비닛(GPU 16개, CPU 4개 탑재)을 설치하고, 집주인은 전기요금 할인을 받습니다. 가정은 평균 전력 용량의 약 40%만 실제로 사용하는데, SPAN은 이 남는 전력을 AI 컴퓨팅 자원으로 전환합니다. 세계 최대 반도체 기업이 가정집을 AI 인프라의 기본 단위로 직접 설계하기 시작했다는 점에서 주목받고 있습니다.
이 사례들의 공통점은 명확합니다. 가정이 AI 컴퓨팅 인프라의 기본 단위가 되는 시대가 열리고 있습니다. 기존에 존재하던 공간과 자원을 AI 인프라로 전환하고, 그 가치를 공간 제공자와 공유한다는 점입니다. 더 이상 AI 인프라는 거대한 데이터센터 안에만 존재하지 않습니다. 가정과 건물, 지역 커뮤니티 등 도시 곳곳으로 확장되기 시작했습니다.
저희는 이러한 사례들이 앞으로 더욱 늘어날 것으로 보고 있습니다. 하지만 Heata와 SPAN의 사례가 도시 규모로 확장되기 위해서는 해결해야 할 과제가 하나 있습니다. 바로 서로 다른 위치에 존재하는 수많은 컴퓨팅 자원을 하나의 클라우드처럼 통합하고 운영하는 문제입니다.
AIEEV는 해당 문제를 해결하기 위해 GPU, NPU를 비롯한 다양한 컴퓨팅 자원을 하나의 클라우드로 연결하는 분산 컴퓨팅 기술을 개발해 왔습니다. Air Cloud는 이 기술을 기반으로 구축된 분산형 AI 클라우드 서비스입니다. 저희의 접근 방식은 단순한 GPU 거래 플랫폼과는 다릅니다. 서로 다른 환경에 존재하는 컴퓨팅 자원을 연결하는 것에 그치지 않고, 실제 AI 서비스가 운영될 수 있도록 분산된 자원을 하나의 클라우드처럼 관리하고 활용하는 데 초점을 두고 있습니다.
개인 PC, PC방, 기업 서버, 지역 데이터센터 등 서로 다른 환경에 존재하는 컴퓨팅 자원을 연결할 수 있을 뿐만 아니라, AI 연산에 최적화된 자체 노드 인프라(위 사진 중앙의 흰색 디바이스)도 함께 운영하고 있습니다. 해당 노드는 데이터센터뿐 아니라 가정, 아파트 단지, 오피스 빌딩, 산업단지 등 전력과 네트워크가 존재하는 다양한 공간에 설치될 수 있도록 설계되었습니다. 즉, AI 인프라를 특정 데이터센터에 집중시키는 것이 아니라 필요에 따라 다양한 환경으로 확장할 수 있는 형태의 새로운 컴퓨팅 인프라입니다. Heata가 가정의 온수 시스템을, SPAN이 주택의 전력 인프라를 AI 컴퓨팅 자원으로 활용하고 있다면, 저희는 이러한 분산 자원들을 하나의 클라우드처럼 연결하고 운영할 수 있는 기반 기술을 만들고 있는 셈입니다. 그렇다면 이러한 분산형 AI 인프라 모델은 실제 도시 환경에서도 가능할까요? 흥미롭게도 한국은 이 실험을 가장 빠르게 현실화할 수 있는 조건을 갖춘 나라 중 하나입니다.
4. 한국이 인프라 모델 실험에 가장 적합한 이유
국가인공지능전략위원회는 올해 'K-AI 시티' 로드맵을 논의하며 기존 스마트도시를 "AI가 운영하는 초연결 도시"로 전환하는 방향을 제시했습니다. 국토교통부는 2026년 AI 특화 시범도시를 권역별로 선정했고 도시 단위의 AI 활용 모델을 확대하고 있습니다. 주목할 점은 정책의 방향입니다. 과거처럼 중앙이 모든 인프라를 구축하고 운영하는 방식이 아니라, 지역 단위의 AI 서비스와 인프라를 연결하는 방향으로 이동하고 있다는 점입니다. 이는 앞으로 살펴볼 멀티-분산 클라우드의 철학과도 맞닿아 있습니다.
여기서 분산 클라우드 인프라는 단순한 IT 기술 이상의 의미를 가집니다.
오늘날 대형 데이터센터는 막대한 전력 소비와 냉각 비용, 지역 인프라 부담이라는 과제를 안고 있습니다. 최근에는 수도권을 중심으로 데이터센터 건설을 둘러싼 주민 반발과 입지 갈등도 반복되고 있습니다. 문제의 근본 원인은 공간 구조에 있습니다. 인구가 밀집된 수도권에서 대규모 데이터센터가 요구하는 부지와 전력 인프라를 확보하는 것은 점점 어려워지고 있습니다. 반면 분산형 AI 인프라는 이러한 문제를 다른 방식으로 접근합니다. 거대한 시설 하나를 건설하는 대신, 소규모 컴퓨팅 자원을 도시 전역에 분산 배치하는 구조입니다. 이는 특정 지역에 전력과 발열이 집중되는 현상을 완화하고, 도시 전체의 유휴 자원을 보다 효율적으로 활용할 수 있는 가능성을 제공합니다.
여기에 한국만의 강점이 있습니다. 한국은 세계적으로도 아파트 거주 비율이 높은 국가입니다. 단지 단위로 연결된 고밀도 주거 환경은 분산형 컴퓨팅 자원을 설치하고 운영하기에 유리한 구조를 가지고 있습니다. 최근 건설사들이 AI 아파트, 스마트홈, 단지 통합 플랫폼 구축에 적극적으로 투자하고 있다는 점도 주목할 만합니다. 이미 네트워크와 디지털 인프라가 구축된 공간이 늘어나고 있다는 의미이기 때문입니다. 결국 한국은 AI 시티가 요구하는 도시형 분산 인프라를 실험하기에 매우 흥미로운 환경을 갖춘 국가라고 볼 수 있습니다.
5. 단지에서 도시로, 도시에서 네트워크로
만약 분산형 AI 인프라가 도시 공간에 적용된다면 어떤 모습일까요?
가장 현실적인 출발점은 사람들이 실제로 생활하고 일하는 공간입니다. 주거 단지, 오피스 빌딩, 산업단지와 같은 공간에 소규모 AI 노드가 설치되고, 이들이 지역 단위로 연결되면서 하나의 분산 컴퓨팅 네트워크를 형성하는 방식입니다. 이 단계에서 단지는 단순한 주거 공간이 아니라 컴퓨팅 자원을 생산하는 마이크로 데이터센터(Micro Data Center)의 역할을 수행하게 됩니다. 태양광 패널이 전기를 생산하듯, AI 노드는 컴퓨팅 자원을 생산하는 인프라가 되는 것입니다. 예를 들어 아파트 단지에는 '홈 노드(Home Node)', 오피스 빌딩에는 '오피스 노드(Office Node)', 산업단지에는 '인더스트리얼 노드(Industrial Node)' 와 같은 형태의 AI 노드가 설치될 수 있습니다. 이들은 평상시에는 지역 내 AI 서비스의 연산을 처리하고, 필요 시에는 도시 전체 네트워크와 연결되어 컴퓨팅 자원을 공유합니다.
지역 단위 AI 인프라
이러한 단지들이 연결되면 도시는 새로운 형태의 인프라를 갖게 됩니다. 교통, 환경, 안전, 에너지 데이터가 모두 중앙 데이터센터를 거치지 않고 지역 내에서 처리될 수 있습니다. 예를 들어 특정 교차로의 교통량 분석은 해당 지역의 엣지 노드에서 수행하고, CCTV 이상행동 탐지 역시 가까운 컴퓨팅 자원이 처리하는 구조입니다. KAIA가 제시한 멀티-분산 클라우드 역시 이러한 방향을 지향합니다. 데이터를 발생지와 가까운 곳에서 처리함으로써 네트워크 비용을 줄이고 실시간성을 높이는 것입니다. 도시는 더 이상 데이터를 생성하는 공간만이 아니라, 데이터를 처리하는 공간이 됩니다.
도시가 AI 인프라를 생산하는 시대
한 단계 더 나아가면 도시 자체가 AI 인프라 생산자가 될 수 있습니다. 지금까지 도시는 AI 서비스를 구매하는 소비자에 가까웠습니다. 하지만 분산형 컴퓨팅 환경에서는 도시가 보유한 유휴 전력, 유휴 서버, 유휴 GPU를 활용해 직접 컴퓨팅 자원을 공급할 수 있습니다. 예를 들어 특정 지역은 낮 시간에 유휴 전력이 많고, 다른 지역은 야간에 유휴 컴퓨팅 자원이 많을 수 있습니다. 이러한 자원들이 네트워크로 연결되면 도시는 AI 서비스를 소비하는 동시에 AI 인프라를 생산하는 주체가 됩니다. 이는 에너지 분야에서 발전하고 있는 '에너지 프로슈머(Energy Prosumer)' 개념과도 유사합니다. 전기를 소비하던 가정이 태양광 패널을 통해 전력을 생산하는 것처럼, 미래 도시 역시 컴퓨팅 자원을 생산하고 공급하는 주체가 될 수 있습니다.
도시 간 AI 네트워크
더 나아가 지역과 지역이 연결되면 도시 간에도 컴퓨팅 자원을 공유할 수 있습니다. 특정 도시에서 대규모 행사가 열려 일시적으로 AI 연산 수요가 증가할 경우, 다른 지역의 유휴 자원이 이를 지원할 수 있습니다. 반대로 산업단지가 밀집된 지역은 남는 컴퓨팅 자원을 다른 도시로 제공하고 수익을 얻을 수도 있습니다. 이는 단순한 클라우드 사용을 넘어 도시 간 AI 인프라 협력 모델로 발전할 가능성을 가집니다. 물론 이러한 모델이 당장 현실화되었다고 말하기는 어렵습니다. 하지만 K-AI 시티가 지향하는 공공 AI 인프라의 방향과 멀티-분산 클라우드의 철학을 함께 놓고 본다면 충분히 검토해볼 수 있는 시나리오입니다. 어쩌면 미래의 스마트시티는 도로와 전력망처럼, 컴퓨팅 네트워크 자체를 도시의 공공 인프라로 보유하게 될지도 모릅니다.
마치며
우리는 흔히 AI 시대의 경쟁력을 더 큰 모델, 더 많은 GPU, 더 거대한 데이터센터에서 찾습니다. 하지만 AI가 도시 전체로 확장되는 시대에는 다른 질문이 필요할지도 모릅니다.
'어떻게 하면 도시 안에 이미 존재하는 자원을 더 효율적으로 연결할 수 있을까?'
Heata는 가정의 온수 시스템을 활용했고, SPAN은 주택의 전력 인프라를 활용했습니다. 그리고 스마트시티 연구는 멀티-분산 클라우드라는 새로운 방향을 제시하고 있습니다. 땅이 좁고 인구 밀집도가 높은 한국의 조건은 분산 인프라를 가로막는 제약이 아닐 수 있습니다. 오히려 도시 곳곳에 존재하는 자원을 연결하고 활용하는 새로운 인프라 모델을 실험하기에 적합한 환경일지도 모릅니다. 결국 미래 도시의 경쟁력은 얼마나 많은 AI를 보유하고 있는가보다, 그 AI를 얼마나 지속 가능하게 운영할 수 있는가에서 결정될 가능성이 높습니다.
AIEEV는 이러한 변화 속에서 도시와 지역에 분산된 컴퓨팅 자원을 연결하고, 이를 실제 AI 인프라로 활용할 수 있는 방법을 고민하고 있습니다. 앞으로도 지속가능한 AI 인프라와 분산형 컴퓨팅의 가능성에 대한 다양한 이야기를 공유드리겠습니다.
참고 자료
초연결 지능도시 연구보고서 (KAIA, 2024)
전자신문 "AI가 운영하는 초연결 도시... 국가인공지능위, K-AI 시티 로드맵 논의" (2026.05.15)
스마트시티 국가시범도시 공식 포털 (smartcity.go.kr) / AI 시티 TF 발족 보도 (2025.09.05)
부산 에코델타 스마트시티 공식 사이트 / K-water KHARN 인터뷰 (2024)
Heata 공식 사이트 (heata.co) / Data Center Dynamics "British Gas teams up with Heata"
블록미디어 "엔비디아, 가정집에 AI 서버 설치 추진... 스팬-풀트그룹과 협력" (blockmedia.co.kr/archives/1100855)
SPAN 공식 블로그 "SPAN Announces XFRA" (span.io/blog)
