AI 진화론 - 종,횡, 무진(Scale up, out and across)

AI 모델의 복잡해지면서 데이터 처리 병목에 따른 지연 문제가 심화되고, 이를 해결하는 데 있어서 중앙집권적인 데이터센터보다는 여러 지역에 분산되고 사용자에 인접한 데이터센터가 유리.이에 따라 최근 하이퍼스케일러가 네오클라우드를 Scale across의 수단으로 활용하는 현상 두드러지며 네오클라우드 비즈니스의 성장 가속 기대

기존에 AI 모델의 성능 향상(할루시네이션 현상 제거)를 위해 활용하던 RAG 기술이 Agentic AI 시대에 이전보다 보수적으로도 2.5배~8배, 연산 난이도가 높아지면 수십배~수백배 더 많은 데이터 스토리지 요구

AI 인프라 시장은 지난 2년간의 대규모 투자(Capex) 시대를 지나, 이제는 효율적 연결(Network)로 패러다임이 확장(*)

• 네트워크 시장은 크게 Scale-Up(단일 랙 내부 칩 간 연결)과 Scale-Out(데이터센터 내 이기종 클러스터 간

  연결)으로 구분

• Scale-Up 영역에서는 UALink와 SUE(Scale-Up Ethernet), Scale-Out 영역에서는 Ethernet 기반

  Arista 및 White Box 솔루션이 부상하면서 패권 경쟁이 본격화되는 국면에 진입

• 각 진영별 기술 패권을 쥔 기업들(Astera Labs, Celestica 등)은 중장기적으로 구조적 성장이 기대되며, AI 인프라 전반의 성장세를 상회하는 초과 성장을 전망

• 소재·부품 부문에서는 네트워크 스위치의 고도화에 따라 MLB와 CCL의 구조적 성장 가속화 예상

기존 스토리에, 얹어지는 새 이야기

• Generative AI 상용화, Agentic AI 확산되기 시작하면서 AI 컴퓨팅 연산량 급증

  • AI 데이터센터가 처리해야 하는 연산량의 ‘기하급수적’ 증가

  • 생각하는 AI(Test-Time Computing)에 기반한 AI LLM 상용화(Commoditization)와 연산량 급증

  

• 기존 AI의 추론 방식은 단일 경로, 1회 호출에 기인한 결과물 출력 방식

  • AI 에이전트는 목표 달성까지 반복 다중 작업, AI 모델의 n회 호출

  • 그런데 AI 에이전트 워크플로우에서는 LLM이 자신의 출력물을 토대로 응답을 개선하도록 새 출력물 (프롬프트)를 받거나 여러 단계에 걸쳐 계획/실행, 협업을 구현

  • 똑같은 출력물이더라도, AI 에이전트의 출력물은 최종 소비 전 이미 수십만 개의 토큰을 생성했을 수 있음

  

• AI 에이전트 연산 구조 복잡화가 Scale Up/out +across 요구

  • 2Q25 엔비디아, 브로드컴 실적발표에서 공통적으로 새로 등장한 용어 “Scale across”

    • Scale across는 데이터센터, region간 연결 및 분산을 의미(Inter-regional)

• Agentic RAG는 더 많은 데이터 축적을 요구

  • Traditional RAG(Generative AI 시대)는 질문-문맥-최종답과 관련한 간단한 데이터 저장

  • Agentic RAG는 계획-행동-관찰 과정 루프(반복)에서 툴 호출에 따른 과정까지 기록으로 남김

    - 결정 근거, 툴 I/O, 중간 산출물, 메모리 등

  

Scale Across 시대에 부각되는 '네오클라우드'

• AI 컴퓨팅 공급 주체에는 하이퍼스케일러가 중심에 있고, 네오클라우드라는 신흥 비즈니스가 있음

  • 하이퍼스케일러: 마이크로소프트(MSFT), 아마존(AMZN), 알파벳(GOOGL), 오라클(ORCL)

  • 네...