월 20달러. 지금 AI 구독료는 한국 기준으로 대략 치킨 한 마리, 미국 기준으로는 스타벅스 커피 몇 잔 정도로 느껴집니다. BZCF의 한 글에서는 ChatGPT Plus나 Claude Pro 같은 월 $20 구독료가 미국·싱가포르·독일에서는 월급 대비 약 0.5%, 한국에서는 약 0.75% 수준이지만, 일부 개발도상국에서는 7~20%까지 체감될 수 있다고 비교했습니다. 같은 $20라도 어떤 나라에서는 생산성 도구이고, 어떤 나라에서는 부담스러운 고정비가 됩니다. 그런데 더 중요한 질문은 따로 있습니다. 이 가격이 앞으로도 월 $20에 머물 수 있을까요? 지금 우리가 내는 AI 구독료는 대부분 “대화형 AI” 기준입니다. 사람이 질문하고, 모델이 답하고, 다시 사람이 이어서 묻는 구조입니다. 하지만 AI가 점점 에이전트로 바뀌고 있습니다. 이제 AI는 답변만 하지 않습니다. 계획을 세우고, 검색하고, 파일을 읽고, 코드를 실행하고, 도구를 호출하

GPU를 사놓고 5%만 씁니다 2026년 4월, 기업 Kubernetes 클러스터의 평균 GPU 활용률이 5~30%에 머문다는 데이터가 나왔습니다. 시간당 $2 ~ $15(저가형 GPU와 고성능 GPU 평균치)를 소비하는 GPU가 대부분의 시간 동안 아무것도 하지 않고 있습니다. Cast AI 보고서는 사실 더 직접적입니다. 이 보고서에 따르면, 기업들은 실제 필요한 GPU 비용보다 평균 20배를 더 지출하고 있습니다. AI 경쟁에서 밀리지 않으려고 확보한 자원이 확보한 것만으로 비용이 쌓이고 있습니다. Kubernetes 클러스터 자원 활용률 현황 (출처: CAST AI) 그렇다면 왜 GPU는 놀고 있을까? 문제는 기술이 아니라 구조입니다. Kubernetes는 기본적으로 GPU를 분할 없이 할당합니다. 어떤 팀이 GPU를 예약하면, 그 팀이 쓰든 안쓰든 다른 팀은 접근할 수 없습니다. 모델 학습은 하루에 몇 시간이지만 GPU는 24시간 점유됩니

설명을 돕기 위해 AI로 생성된 그림입니다. 몇일 전 Meta가 CoreWeave와 $210억 규모의 AI 클라우드 계약을 2032년까지 연장했습니다. 기존 $142억 계약까지 합산하면 총 $350억이 넘습니다. 한화로 약 50조원입니다. CoreWeave는 이 계약을 발표한 시점 기준으로, 역대 가장 빠르게 $50억 ARR을 돌파한 클라우드 기업이 되었습니다. 숫자 자체보다 중요한 건 이 계약의 구조입니다. 쓸지 안 쓸지 모르는 GPU 용량을 몇 년 단위로 미리 확보하는 방식인 장기 용량 예약 모델은 대형 테크 기업들이 AI 인프라를 선점하기 위해 선택하는 대표적인 전략입니다. 🤔 왜 대형 테크 기업들은 장기 계약을 선택할까요? AI 인프라 경쟁에서 GPU 확보는 제품 출시 속도와 직결됩니다. 필요할 때 수급할 수 있는 시장이 아닙니다. NVIDIA Blackwell 시리즈처럼 수요가 폭발하면, 수급 타이밍을 놓친 기업은 수개월을 기다려야 합

AI 서비스를 계속 운영하다 보면 언젠가 이런 궁금증에 마주하게 됩니다. "지금 우리가 API로 쓰는 게 진짜 저렴한 걸까? 아니면 그냥 GPU를 사서 직접 돌리는 게 낫지 않을까?" 모델 성능이 평준화되면서 이제 승부처는 비용이 되었습니다. 팀마다 자신의 사용량 규모에서 어느 방식이 진짜 저렴한지 계산하기 시작했고, 답은 사용량에 따라 명확히 달라집니다. 이 글에서는 AI 인프라 도입을 고민하는 팀들을 위해 세 가지 선택지의 실제 비용 구조를 숫자로 비교합니다. 세 가지 인프라 운영 방식과 비용 구조 비용을 비교하기 전에, 먼저 각 선택지의 비용 구조를 이해해야 합니다. 같아 보이는 비용도 어떤 방식으로 발생하느냐에 따라, 사용량 규모별로 유불리가 완전히 달라지기 때문입니다. 1. 서버리스 API: 쓴 만큼만 낸다 (고정비 X + 토큰당 과금) | 비용 구조 : 고정비 없음 + 토큰당 과금 토큰 단위로 사용료를 내는 방식입니다. GPU를 직접

80GB GPU는 정말 필수였을까? TurboQuant가 KV 캐시를 압축하면서 LLM 추론 비용 구조가 바뀌고 있습니다.