최근 브로드컴의 VMware 라이선스 정책 변화로 많은 기업이 비용 부담과 벤더 종속성 문제로 어려움을 겪고 있습니다. 이런 상황에서 HPE가 자사 가상화 솔루션을 최대 1년간 무료로 제공하며 대안으로 떠올랐습니다. 과연 이 전환 프로모션이 실제 비용 절감으로 이어질까요? HPE

인공지능 시장이 급격히 팽창하면서 기업들의 고민도 깊어지고 있습니다. AI 모델을 돌리기 위한 GPU 등 연산 자원은 폭발적으로 필요해졌지만, 정작 실무 현장에서는 값비싼 장비들이 놀고 있거나 자원이 낭비되는 사례가 비일비재하기 때문입니다. 이러한 비효율은 곧바로 클라우드 비용

데이터 센터에 의존하지 않고 내 기기에서 직접 구동하는 AI가 주목받고 있습니다. 최근 기업들은 클라우드 비용 절감과 보안 문제를 해결하기 위해 대규모 모델 대신 가벼운 모델을 선택하고 있습니다. Multiverse Computing은 이러한 흐름의 중심에서 효율적인 압축 기술을

센트 단위나 센트의 분수 값으로 표기되는 푼돈이 막대한 금액으로 삽시간에 늘어날 수 있음을 실감하기란 어렵다. 클라우드 컴퓨팅 비용 이야기다. 그러나 실제로 그런 일 생긴다. 매월 클라우드 컴퓨팅 비용이 청구될 때마다 CFO들은 심장마비 직전 수준의 스트레스를 겪는다. 비용 책임자들의 건강을 유지하고, 그들의 분노가 향하는 엔지니어들의 목을 지키기 위해, 클라우드 비용을 절감할 수 있는 작은 방법들을 정리했다. 이 중 어떤 팁도 단독으로 큰 절감 효과를 내지는 않지만, 함께 적용하면 전체 클라우드 비용을 크게 낮출 수 있다. ## 사용하지 않을 때 개발 클러스터를 종료 일부 개발자는 하루 8시간을 일하고, 일부는 더 오래 일한다. 하지만 어떤 경우에도 개발 클러스터를 하루 12시간 이상 줄곧 사용하는 경우는 드물다. 한 주 168시간 중, 팀이 1/4만 사용한다면 개발 클러스터 운영 비용의 75%를 절약할 수 있다. 인정한다. 큰 클러스터를 종료하는 데 시간이 걸릴 수 있다. 일부 특수한 머신은 즉시 가동하기 어려울 수 있다. 그렇다면 배경에서 실행되는 스크립트를 작성해 모든 것을 자동으로 관리하도록 할 수 있다. ## 모의 마이크로서비스를 현명하게 이용 많은 클라우드 애플리케이션은 마이크로서비스를 실행하는 머신의 집합체다. 모든 머신를 가동하는 대신, 일상 업무의 초점에서 벗어난 머신을 모방하는 일단의 스마트한 모의 서비스(mock services)를 사용해볼 만하다. 마이크로서비스의 모의 인스턴스를 이용하면 새로운 코드 테스트에 필요한 자원을 크게 줄일 수 있다. 스마트한 개발자는 이러한 모의 인스턴스를 구성하여 모든 데이터를 추적함으로써 디버깅을 위한 더 나은 텔레메트리 데이터를 제공할 수 있다. ## 로컬 디스크 저장 공간 제한 많은 클라우드 인스턴스는 표준 디스크 또는 지속적 스토리지에 대해 기본 용량을 제공한다. 그리고 이는 작업용 디스크 공간 중 가장 비용이 높은 부분일 수 있기에 할당 용량을 제한하는 것이 합리적이다. 기본 용량 값을 선택하는 대신 가능한 한 적은 용량으로 운영한다. 이는 데이터를 데이터베이스나 객체 저장소에 안전하게 저장한 후 캐시를 지우거나 로컬 복사본을 삭제하는 작업을 의미할 수 있다. 즉, 로컬 저장 공간이 거의 필요 없는 매우 가벼운 버전의 서버를 구축하는 것을 목표로 한다. ## 클라우드 인스턴스 크기 조정 알고리즘을 사용해 수요가 피크에 달했을 때 머신 크기를 자동으로 늘릴 수 있다. 하지만 클라우드를 이용함에 있어 디스크에 할당된 리소스를 축소하기란 쉽지 않을 때가 흔하다. 디스크 크기가 증가하면 축소가 어려울 수 있다. 이러한 머신을 밀접하게 모니터링하면 클라우드 인스턴스가 필요한 만큼만 리소스를 소비하도록 보장할 수 있다. ## 콜드 스토리지 선택 일부 클라우드 제공업체는 빠른 액세스가 필요 없는 데이터에 대한 별도의 서비스를 제공한다. 예를 들어 AWS의 글래시어(Glacier)와 스케일웨이(Scaleway)는 몇 시간 이상의 지연을 전제로 매우 낮은 요금을 부과한다. 콜드 데이터는 이러한 저렴한 위치로 이전해볼 만하다. 때로는 보안도 이 옵션을 선택하는 이유가 될 수 있다. 스케일웨이는 과거 핵폭탄 방공호였던 공간을 사용해 데이터를 물리적으로도 보호한다고 강조하고 있다. ## 더 저렴한 업체 선택 업체에 따라 객체 저장소와 같은 서비스 가격이 현저히 낮다. 와사비(Wasabi)는 경쟁사보다 80% 저렴하다고 주장한다. 블랙블레이즈(Backblaze)는 타사 비용의 1/5에 서비스를 제공한다고 밝혔다. 적지 않은 폭이다. 이러한 서비스는 접근 지연 시간 측면에서도 강점을 내세운다. 더 빠른 ‘핫 스토리지’ 응답 시간을 제공하는 식이다. 물론 일반 인터넷을 통해 쿼리가 전송되는 시간을 기다려야 하지만, 데이터센터 내부가 아닌 외부 네트워크를 통해 전송되기 때문에 차이가 여전히 클 수 있다. 저렴한 제공업체는 데이터 액세스 조건에서도 경쟁력을 갖추고 있는데, 일부는 반출 요금(egress fee)을 면제하는데, 이는 자주 다운로드되는 데이터를 보유한 조직에게 매력적이다. ## 스팟 머신 일부 클라우드 제공업체는 여분 머신을 경매로 판매한다. 경우에 따라 매우 저렴할 수 있다. 스팟 가격이 낮을 때 기한이 없는 작업을 실행하면 적절하다. 즉 스팟 머신은 월별 보고서 생성 같은 배경 작업에 적합하다. 반면, 스팟 인스턴스는 사전 통지 없이 갑자기 종료될 수 있다는 점을 주의해야 한다. 스팟 머신에서 실행되는 애플리케이션은 멱등성(idempotent)을 가진 것이어야 한다. 또한 수요가 높을 때 스팟 가격이 급등할 수 있다는 점도 유의해야 한다. 일종의 금융적 모험으로 생각하면 된다. ## 예약 인스턴스 클라우드 제공업체는 장기적으로 하드웨어 사용을 약속하는 조직에 큰 할인 혜택을 제공한다. 이는 예약 인스턴스 또는 사용량 기반 할인으로 불리기도 한다. 향후 몇 년간 필요한 양을 정확히 알고 있을 때 이상적이다. 단점은 계약이 양측을 구속한다는 점이다. 프로젝트가 취소되거나 수요가 적은 시기일지라도 서버를 중단할 수 없다. ## 투명성을 유지 엔지니어들은 특히 수치 기반 문제를 해결하는 데 능숙하며, 결국 클라우드 비용은 최적화해야 할 또 다른 지표일 뿐이다. 많은 팀은 클라우드 비용을 데브옵스 전문가에게 맡기는데, 이들이 재무 부서와 매월 회의를 진행해 비용을 최적화할 수 있다. 더 나은 해결책은 팀 전체에 지출 데이터를 공개하는 것이다. 팀원들이 숫자를 자세히 분석하고 자금이 어디로 흘러가는지 확인할 수 있도록 한다. 클라우드 비용을 상세히 분해한 좋은 대시보드는 비용 절감 아이디어를 자극할 수 있다. ## 서버리스로 전환 클라우드 컴퓨팅 혁명은 자원을 중앙화하고 사용자가 필요한 만큼만 구매하기 쉽게 만든다는 개념에 기반한다. 이의 논리적 극단은 거래당 요금 부과다. 사실 잘못 이름 지어진 ‘서버리스’ 아키텍처는 필요한 만큼만 구매하여 비용을 절감하는 좋은 예시다. 필자의 한 지인은 부업 중 하나가 월 3센트만 든다고 자랑하는데, 언젠가 이 서비스가 입소문을 타게 되어 비용이 수십 달러, 심지어 수백 달러로 급증할 날을 기대하고 있다. 스컹크 워크 프로젝트나 개념 증명(PoC)을 진행하는 기업들은 수요가 발생할 때까지 컴퓨팅 비용을 매우 낮게 유지할 수 있기 때문에 이러한 옵션을 선호한다. ## 데이터 저장량 줄이기 프로그래머들은 데이터를 일단 보관하려는 경향을 보인다. 나중에 사용할 수 있다는 막연한 기대에서다. 이는 앱이 대규모로 확장되기 전에는 문제가 되지 않지만, 수억 번 반복되면 다르다. 사용자에게 전화를 걸지 않는다면 그들의 전화번호를 정말로 저장해야 할까? 개인 데이터의 폐기는 저장 비용을 절감할 뿐만 아니라 개인 식별 정보 유출 위험을 줄인다. 다시 사용하지 않을 로그 파일이나 데이터 백업을 보관하지 않도록 한다. ## 데이터를 로컬에 저장 오늘날의 브라우저 다수는 객체 저장소나 클래식 데이터베이스의 기본 버전에 데이터를 저장할 수 있다. 웹스토리지 API(WebStorage API)는 간단한 키-값 저장소를 제공하며, 인덱스드DB(IndexedDB)는 계층적 테이블을 저장하고 인덱싱도 구현한다. 두 솔루션 모두 네트워크 연결을 과부하시키지 않으면서도 더 복잡한 웹 애플리케이션을 빠르게 응답하도록 설계된 스마트한 로컬 캐시로 의도됐다. 하지만 저장 비용을 절감하는 데도 사용할 수 있다. 사용자가 무한한 초안을 저장하고 싶다면, 아마도 그 비용을 스스로 부담해야 할 것이다. ## 작업을 다른 곳으로 이동 대개의 클라우드 제공업체는 데이터 저장 위치에 관계없이 동일한 요금을 부과하지만, 일부는 위치에 따라 요금을 조정하기 시작했다. 예를 들어 AWS는 S3 스토리지의 경우 노스 버지니아에서는 기가바이트당 0.023달러, 노스 캘리포니아에서는 0.026달러를 부과한다. 알리바바 또한 최근에 해외 데이터센터의 요금을 국내 데이터센터보다 훨씬 더 크게 인하했다. 즉 위치가 중요해졌다. 불행히도 대규모 데이터 블록에 대해 이러한 비용 절감 혜택을 활용하는 것은 쉽지 않을 수 있다. 일부 클라우드 제공업체는 지역 간 데이터 이동 시 데이터 유출 요금을 부과하기 때문이다. 그럼에도 불구하고 새로운 프로그램을 설정할 때 여러 옵션을 비교해 보는 것이 좋다. ## 콜드 데이터 덜어내기 서비스를 조금만 사용하는 것도 비용 절감 방법이지만, 가장 효과적인 방법은 완전히 중단하는 것이다. 책상 위에 있는 하드 디스크나 근처 데이터센터에 데이터를 저장하는 방법을 고려할 만하다. 하드 디스크 가격은 새 하드 디스크의 경우 테라바이트당 10달러를 약간 넘는 수준이며, 중고 디스크의 경우 7달러 미만이다. 정기적으로 요금을 지불할 필요도 없다. 디스크가 작동하는 동안 계속 적용된다. 물론 이 가격에는 모든 책임과 전기 요금을 부담하는 대가가 따른다. 중요한 업무에는 적합하지 않지만, 매우 중요한 백업 데이터와 같은 중요도가 낮은 작업에는 상당한 비용 절감 효과가 있을 수 있다. 데이터의 물리적 통제가 컴플라이언스 준수에 필요한 경우에도 장점이 있을 수 있다. dl-ciokorea@foundryco.com

윈도우10의 지원 종료가 다가오면서 일부 IT 리더는 PC 업그레이드 주기에 대비해 AI 워크로드를 데스크톱 PC나 노트북에서 직접 실행하는 방법을 검토하고 있다. 클라우드 비용 절감과 보안 향상 효과를 기대할 수 있기 때문이다. 윈도우10 보안 업데이트는 오는 10월 14일 종료된다. 이에 많은 CIO가 선택의 기로에 서 있다. 일부는 윈도우11 엔터프라이즈 제품군 도입과 함께 코파일럿+(Copilot+) 인증 AI PC를 고려하고 있다. 일부 업계 전문가는 이런 변화가 불가피하다고 언급했다. 가트너(Gartner)의 수석 부사장 겸 분석가인 존-데이비드 러브록은 CIO닷컴과의 인터뷰에서 “2년 내에 AI가 탑재되지 않은 PC, 태블릿, 노트북, 모바일 기기를 구매하기란 사실상 불가능해질 것이다. 원하든 원하지 않든 AI가 탑재된 제품을 구매하게 될 것”이라고 말했다. 하지만 AI PC는 아직 초기 단계에 있다. NPU(신경망 처리 장치)가 탑재된 AI PC가 처음 출시된 지 이제 6개월이며, 해당 제품에는 40 TOPS(초당 1조 번의 연산) 미만의 칩이 탑재됐다. 인텔, AMD, 애플, 퀄컴이 공급하는 전용 NPU는 PC와 노트북의 핵심 CPU 및 GPU를 보완하며, AI 워크로드를 더 효율적으로 실행하고 배터리 수명을 절약하도록 설계됐다. 올해 출시되는 2세대 AI PC는 성능이 크게 향상돼 40 TOPS를 초과하는 시스템온칩(SOC) NPU와 16GB RAM을 제공한다. 이는 마이크로소프트가 지정한 코파일럿+ PC 브랜딩의 요구사항을 충족사는 사양이다. 델(Dell), 에이서(Acer), 아수스(Asus), HP, 레노버(Lenovo), 삼성(Samsung), 마이크로소프트(Microsoft) 등의 제조사가 2025년이나 2026년을 목표로 AI PC를 출하했거나 준비 중이다. 현재 AI PC는 로컬에서 LLM을 실행할 수 있지만, 모델 학습이 아닌 추론용으로만 사용 가능하다. 델테크놀로지스는 최근 CES에서 맥스 프로(Max Pro)를 공개하며 해당 제품이 AI 추론과 LLM 미세조정을 지원하는 데 필요한 40+ TOPS NPU 가속기를 탑재한 하이엔드 AI PC 워크스테이션이라고 설명했다. 델은 또한 개발자가 NPU의 성능과 AI 모델에 필요한 대용량 메모리를 활용할 수 있게 해주는 툴킷인 델 프로 AI 스튜디오를 출시했다. 최종 사용자 역시 시장에 출시된 클라우드용 코파일럿+와 코파일럿+ AI PC에서 제공하는 문서 요약과 콘텐츠 생성 같은 기본적인 생성형 AI 기능을 사용할 수 있다. 현재 PC에 통합되고 있는 40 TOPS NPU는 사용자와 개발자 모두가 더 많은 AI 워크로드와 더 작고 특화된 AI 모델을 실행할 수 있도록 지원할 전망이다. ## 기업의 로컬 AI 대안 분석가들은 윈도우 11이 NPU에 대한 초기 지원을 제공하고 윈도우10을 대체하는 올해 후반부터 본격적인 PC 교체 주기가 시작될 것이라고 언급했다. IDC의 그룹 부사장인 톰 메이넬리는 “2025년에는 많은 기업이 PC를 교체할 전망이다. 일부는 상위 모델인 AI PC 코파일럿+를 선택하고, 상당수는 한 단계 아래인 40 TOPS 미만의 AI PC를 구매할 가능성이 높다. 물론 2025년에도 상당수는 여전히 NPU가 없는 모델을 사용할 것”이라고 진단했다. 메이넬리는 “AI PC가 CIO 입장에서 매력적인 점은 LLM을 로컬에서 실행할 수 있어 잠재적인 비용, 성능, 프라이버시 보호, 보안상의 이점을 얻을 수 있다는 것”이라고 덧붙였다. 메이넬리는 AI PC의 실용적인 사용 사례 대부분이 현재 클라우드에서 AI를 사용하는 방식과 동일하다고 인정했다. 다만 그는 콘텐츠 생성, 콘텐츠 편집, 텍스트 요약, 언어 번역, 반복 작업 자동화, 프로토타이핑, 개인화, 예측 인사이트, 가상 비서 등의 기능이 더 빠르고, 저렴하고, 비공개로 안전하게 로컬 디바이스에서 실행될 수 있다고 말했다. 그는 일부 AI 워크로드를 로컬 PC에 할당하면 다른 이점도 얻을 수 있다면서, 특히 마이크로소프트가 코파일럿+ 애플리케이션을 클라우드에서도 계속 제공할 예정이므로, CIO가 상황에 따라 로컬과 클라우드를 유연하게 활용할 수 있다고 전했다. 그는 “AI PC는 시간이 지남에 따라 작은 언어 모델부터 양자화된 대규모 언어 모델까지, 더 많은 워크로드를 로컬에서 더 빠르고 지연 시간이 낮게 처리할 가능성이 높다. 인터넷 연결이 필요 없고 비용도 더 저렴해질 것이다. AI PC에 약간 더 많은 비용을 지불하겠지만, AI 워크로드가 클라우드에 있지 않아 수익성이 더 높고 더 안전하다”라고 설명했다. 또한 메이넬리는 AI PC의 설치 기반이 아직 작지만, 올해 더 많은 AI PC 구매가 이뤄짐에 따라 내년에는 훨씬 더 큰 투자가 진행될 수 있다고 말했다. IDC 조사에 따르면 전 세계 기업의 약 80%가 2025년 말까지 PC 포트폴리오를 교체할 계획이며, 70% 소비자가 향후 2년 내에 PC를 교체할 예정이다. IDC는 NPU가 저가 하드웨어에 통합되면서 장기적으로 AI PC의 도입 흐름이 형성될 것이라고 내다봤다. ## CIO 입장에서의 장단점 윈도우10의 지원 종료일이 다가오고 있지만, 접촉한 CIO 중 코파일럿+ PC에 관심을 보인 이는 거의 없었다. 데어리랜드 파워(Dairyland Power Cooperative)의 부사장 겸 CIO인 네이트 멜비는 AI 에이전트 기능이 확산되고 나서야 AI PC의 중요성이 부각될 것이라고 말했다. 그는 “대기업은 이런 기술에 수명주기 접근 방식을 취해 매년 교체하는 경향이 있다. 내가 선호하는 전략 중 하나는 매년 PC/노트북의 3분의 1을 교체하여 3년 주기로 최신 상태로 유지하는 것이다. 파워 유저와 특정 사용 사례에 대해 AI PC를 평가한 다음 조달 주기에 적용할 수 있다는 장점이 있다”라고 설명했다. 멜비는 또한 AI PC가 일부 서비스형 소프트웨어(SaaS) 시장을 혁신할 가능성도 있다고 지적했다. 그는 “CIO가 AI를 직원과 프로세스에 더 잘 연결하기 위해 조기 배포를 고려할 수 있다. 그 이점은 컴퓨팅을 로컬에서 유지하고 어느 정도 사이버 위험을 줄인다는 것이다. 하지만 전략적인 시각과 정밀한 타겟팅이 요구된다. AI PC/노트북의 비용이 높기 때문에 설득력 있는 비즈니스 사례가 필요하다. 클라우드 비용 절감 가능성이 이를 정당화하는 데 도움이 될 수 있다”라고 조언했다. 하지만 PC와 노트북에서 AI를 실행하는 기술에 반대하는 IT 리더도 있다. 리버티 뮤추얼(Liberty Mutual)의 리버티 IT 매니징 디렉터인 토니 마론은 “솔루션에 종속되고 업그레이드가 더 어려워지며, 점진적인 개선을 활용할 수 없는 등 많은 단점이 있다”라고 지적했다. ## 초기 단계의 개발자 생태계 마이크로소프트는 실리콘 파트너 외에 독립 소프트웨어 벤더와도 협력해 NPU 가속을 활용하는 자체 AI 애플리케이션을 개발하고 있다. 인텔은 CES에서 NPU와 AI PC를 활용하는 AI 기능을 개발하고 있는 독립 소프트웨어 벤더를 소개했다. 예를 들어, 맥아피(McAfee)는 스마트 AI 엔진을 만들었으며 기업용 PC를 보호하기 위한 사기 탐지 기술을 포함한 AI PC 보안 기능을 개발하고 있다. 줌(Zoom)도 CES에서 코파일럿+ AI PC용 팀 협업 도구를 향상시키는 새로운 AI 컴패니언에 대해 논의했다. 또 다른 예로, 비디오 편집 앱인 캡컷(Capcut)은 AI PC의 NPU로 실시간 편집, 고급 효과, AI 기반 필터를 강화해 더 부드러운 성능과 더 빠른 렌더링 시간을 제공한다고 밝혔다. 다빈치 리졸브(DaVinci Resolve) 또한 NPU 기능에 최적화된 비디오 편집 기능을 공개했다. 회사는 영화 제작자, 컬러리스트, 편집자를 위한 효율적인 워크플로우를 만들기 위해 코파일럿+ PC의 컴퓨팅 파워를 활용한다고 설명했다. 다만 IDC의 메이넬리는 이런 기술이 아직 초기 단계에 있다고 말했다. 그는 “NPU를 활용할 만한 애플리케이션이 거의 없는 상황이 될 수 있다. 이를 위해 모든 앱 개발자가 노력하고 있고, AMD, 인텔, 퀄컴이 연구를 진행 중이며, 마이크로소프트는 데스크톱에서 AI 기능을 가능하게 하는 소프트웨어 벤더와 협력하고 있다”라고 설명했다. dl-ciokorea@foundryco.com

**초록** 본 연구는 AI 기반의 동적 클라우드 컴퓨팅 비용 최적화 시스템(AICE - AI-Driven Cloud Expenditure Optimization)을 설계하고 구현하는 데 중점을 둔다. 클라우드 환경의 급증하는 복잡성과 비용 효율성의 중요성을 고려하여, AICE는 머신 러닝 모델을 활용하여 리소스 사용 패턴을 예측하고, 동적으로 리소스 할당을 조절하며, 예측 기반의 자동 스케일링을 통해 불필요한 비용 지출을 최소화하는 것을 목표로 한다. AICE는 실시간 모니터링, 예측 모델 기반의 최적화 전략, 자동화된 정책 관리, 그리고 시뮬레이션 기반의 최적화 검증을 통해 클라우드 컴퓨팅 비용 절감과 성능 향상을 동시에 달성하는 것을 목표로 한다.