프리미엄
예측대회
투자분석
아카데미
커뮤니티
Valley AI 시작하기시작하기
Valley Space인기
추론 반도체에 대한 심층 분석
퀄리티기업연구소산업분석

추론 반도체에 대한 심층 분석

avatar
퀄리티기업연구소
2025.01.20조회수 30회
avatar
퀄리티기업연구소
구독자 1,453명구독중 113명
"투자의 질을 중시하며, 장기적 안목으로 시장을 바라봅니다. 비단 재테크뿐만 아니라 인생 전반에 걸쳐 복리의 힘을 믿고, 그 원칙을 실천에 옮기는 곳입니다. 여기서는 깊이 있는 분석과 지속 가능한 성장 전략을 공유하며, 함께 성장하는 지혜를 나눕니다."



파괴적 혁신 이론에 따르면 파괴적 기술은 성능이 과잉 공급된 시장을 겨냥하여 훨씬 적은 기능으로 훨씬 낮은 가격으로 시장에 새로운 접근 방식을 제공합니다.


즉, 현재 시장을 선도하는 기술은 대부분의 고객이 필요로 하는 것보다 더 많은 기능을 제공합니다.


이론적으로 추론 반도체는 여기에 완벽하게 부합합니다. 추론 반도체는 추론에 필요하지 않은 반도체를 모두 제거하여 유연성과 성능을 맞바꿉니다.


추론 시장이 빠르게 성장하고 컴퓨팅 시간이 트레이닝에서 추론으로 계속 이동함에 따라 추론 반도체 공급업체는 유리한 위치를 점하고 있습니다!


실제로 엔비디아의 혁신, 반복 주기, 수만 명의 엔지니어, 수십억 달러의 R&D 투자로 인해 스타트업이 경쟁하기는 쉽지 않습니다. 하지만 시장 기회가 워낙 크기 때문에 성공하면 큰 성공을 거둘 수 있다는 전형적인 VC의 가치 제안을 만들어냅니다.


이 분야의 기업들이 해결해야 할 세 가지 주요 과제는 다음과 같습니다:


1. 메모리 벽 및 확장성: 최첨단 모델의 메모리 요구 사항을 관리하는 방법과 이를 고려한 멀티칩 시스템을 구축하는 방법.


2. 소프트웨어 및 활용: 칩을 프로그래밍 가능하게 만드는 방법.


3. GTM 문제: 지속 가능한 시장 출시 전략(즉, 누구에게 판매할지) 파악하기.


주의할 점: 소형 맞춤형 모델이 AI 애플리케이션의 기본이 된다면, 이는 이러한 기업에게 시장을 열어주는 열쇠가 될 것이며, 가치 소품은 훨씬 더 매력적이 될 것입니다.


이 보고서의 나머지 부분에서는 추론 반도체의 환경과 기술적 접근 방식, 그리고 목표를 달성하기 위해 극복해야 할 문제에 대해 자세히 살펴봅니다. 여기에서 시장 환경을 미리 살펴보세요:

1. 추론 칩은 왜 필요하고 어떻게 작동할까요?

추론 반도체가 존재해야 하는 이유에 대한 논리는 간단합니다. 추론 반도체는 좁은 범위의 사용 사례에 특화되어 범용성을 희생하는 대신 성능 향상을 제공합니다.


전문화가 성능 향상을 가져와야 하며, 추론 시장이 충분히 크다면 해당 분야에 기업이 설립되어야 합니다.


추론 반도체의 핵심은 반도체에서 추론에 필요하지 않은 모든 것을 잘라내는 것입니다(따라서 기본적으로 행렬 곱셈기가 됩니다).


이를 어떻게 달성하는지 이해하기 위해 반도체 아키텍처에 대한 간략한 개요를 제공하겠습니다(더 자세한 분석은 Irrational Analysis의 Cerebras에 대한 훌륭한 분석을 읽어보실 수 있습니다):


반도체의 핵심은 다음과 같이 정의됩니다:


1. 원시 컴퓨팅 성능(코어 수 및 코어의 전력)

2. 유연성(칩이 실행할 수 있는 다양한 작업)

3. 메모리 용량 및 코어가 메모리에 액세스하는 방식(메모리 계층 구조)


다른 칩과 통신하는 방식, 소프트웨어가 칩과 상호 작용하는 방식 등 다른 변수들도 중요하지만, 간단히 말하자면 컴퓨팅 성능, 유연성, 메모리 관리입니다.


전통적으로 CPU는 다양한 연산을 실행할 수 있는 소수의 고성능 코어로 구성됩니다. 반면 GPU는 단순한 연산만 실행할 수 있는 방대한 양의 코어를 가지고 있습니다.


AI 반도체의 경우 메모리 계층 구조가 특히 중요합니다:

각 코어 안에는 아주 적은 양의 정보를 저장하는 레지스터가 있습니다. 예를 들어 즉시 계산할 입력 데이터를 저장할 수 있습니다. 그리고 또 다른 형태의 온칩 메모리인 SRAM이 있습니다.


온칩 메모리는 지연 시간이 가장 짧고 전력 소비가 가장 적습니다. 참고로 Google의 TPU는 온칩보다 오프칩에서 데이터에 액세스하는 데 200배 더 많은 에너지를 사용합니다. 문제는 반도체의 공간이 한정되어 있다는 것입니다! 따라서 온칩 메모리가 많을수록 더 적은 컴퓨팅을 사용할 수 있습니다.


따라서 다른 모든 데이터는 반도체 외부에 저장해야 합니다. GPU의 경우 고대역폭 메모리 또는 HBM은 가장 낮은 오프칩 메모리 지연 시간을 제공하기 때문에 수요가 높습니다. 여기서 Nvidia GPU가 메모리에 액세스하는 방법을 볼 수 있습니다(SM은 컴퓨팅 코어입니다):

복잡할 수 있지만 중요한 내용입니다. 정말 중요합니다!


GPU는 학습과 추론 모두에 사용해야 합니다.


훈련은 추론보다 더 복잡한 경향이 있습니다. 신경망 훈련의 목표는 주어진 데이터 세트(모델링하려는 실제 현상과 유사한)를 가장 정확하게 표현하는 것입니다. 이를 위해서는 데이터의 포워드 패싱과 백워드 패싱, 모델의 매개변수에 대한 미분 계산, 모델 가중치의 지속적인 업데이트가 필요합니다.

이러한 다양한 연산에는 더 많은 유연성이 필요합니다.


반면 추론은 행렬 곱셈을 중심으로 구축된 보다 단순한 워크플로우입니다.


회로 수준에서 이는 추론 반도체에 많은 곱셈 및 덧셈 기능이 필요하다는 것을 의미합니다(예: 융합 곱셈-가산 회로). 많은 추론 칩 접근 방식은 이러한 회로의 양을 최대화하기 위해 제어 로직(회로에 명령을 내리는 반도체의 일부)을 잘라냅니다. 즉, 유연성은 훨씬 떨어지지만 추론 능력은 훨씬 더 뛰어납니다.


퓨리오사AI는 로켓을 만들 때 로켓을 단순화하고 불필요한 비용을 최대한 줄임으로써 로켓을 만드는 것처럼, 추론과 관련이 없는 모든 것을 배제하고 첫 번째 ...

회원가입만 해도
이 글을 무료로 읽을 수 있어요.

Basic 7일 무료 체험 시작하기
이미 계정이 있으신가요?로그인하기
댓글 1개
avatar
후투티
2025.01.21

어렵네요 ㄷㄷ

산업분석 카테고리의 다른글

비정형 데이터 환경

제네레이티브 밸류를 처음부터 꾸준히 읽어주신 분들께는 (첫째, 초기 기사를 읽게 해서 죄송합니다) 둘째, 초기 기사의 대부분이 데이터 산업에 관한 것이었습니다! 데이터는 투자자와 창업자 모두에게 훌륭한 분야였습니다. 빅 테크부터 리틀 테크(초기 단계의 스타트업), Snowflake & Databricks와 같은 데이터 플랫폼(중견 테크?)에 이르기까지, 기업들은 수백억 달러 상당의 데이터 제품을 판매하여 소프트웨어의 부상을 촉진했습니다. 제 데이터 기사 포트폴리오(데이터 산업, 데이터 웨어하우스, 데이터베이스, 데이터 레이크하우스)에서 한 가지 눈에 띄는 격차는 비정형 데이터 환경입니다. 오늘 이 문제를 해결하려고 합니다. 이보다 더 좋은 타이밍이 있을까요! 지난주 Jensen은 “일반 로보틱스를 위한 ChatGPT의 순간이 얼마 남지 않았습니다.”라고 말했습니다. Nvidia는 실제 세계 모델인 Cosmos를 출시했습니다. SpaceX는 점점 더 많은 지리 공간 데이터를 생성하며 빠른 상승세를 이어가고 있습니다. 자율주행차와 차량은 계속해서 자율 주행에 가까워지고 있습니다. 그것만으로는 충분하지 않다면, 새로운 AI 애플리케이션의 물결은 비정형 데이터를 기반으로 구축됩니다! 또한 텍스트 데이터는 마지막 개척지라고 할 수 있습니다. 일리야는 “우리는 데이터의 정점에 도달했고 더 이상은 없을 것”이라고 말했습니다. 제 생각을 요약하면 다음과 같습니다: 1. 대량의 비정형 데이터를 효율적으로 처리할 수 있도록 비정형 데이터와 관련된 혁신이 점점 더 많아질 것입니다. 2. 데이터 플랫폼의 유통 네트워크에 가치가 창출될 것입니다(오픈소스의 캐치-22에 대해서는 나중에 자세히 설명하겠습니다!). 3. 대규모 비정형 데이터의 처리 및 저장과 관련된 매우 구체적인 문제를 해결하는 스타트업에게 가치가 창출될 것입니다. 더 자세한 내용이 궁금하신 분들을 위해 비정형 데이터 생태계와 현재 AI의 물결로 인해 가치가 창출될 수 있는 분야에 대해 심층적으로 살펴볼 예정입니다. 1. 비정형 데이터에 대한 간략한 소개 비정형 데이터는 SQL 데이터베이스에 표 형식으로 저장되지 않은 모든 데이터를 광범위하게 포괄합니다. 예를 들면 텍스트, 이미지, 오디오, 비디오, 센서, 지리공간 데이터 등이 있습니다. 여기서 에코시스템을 시각화할 수 있습니다: 시장을 크게 다음과 같은 카테고리로 분류할 수 있습니다: 1. 소스: PDF, Word 문서, 이메일, 오디오 및 비디오와 같은 형식의 원시 데이터. 2. 수집: 소스에서 스토리지로 데이터를 옮기는 작업. 여기에는 소스에서 데이터 추출, 구문 분석(비정형 소스에서 정형 데이터 추출), 해당 데이터를 스토리지에 로드하는 작업이 포함됩니다. 3. 처리 및 변환: 원시 데이터를 분석할 수 있는 상태로 변환하는 작업입니다. 여기에는 정리, 중복 제거, 필터링, 임베딩이 포함될 수 있습니다. 복잡하거나 규모가 큰 데이터 세트의 경우, Spark, Flink, Ray 또는 Daft와 같은 컴퓨팅 엔진이 사용됩니다. 이러한 프레임워크는 데이터 작업을 보다 효율적으로 실행할 수 있는 수단을 제공합니다. 4. 스토리지: 비정형 데이터를 사용할 수 있도록 저장합니다. 대부분의 비정형 데이터는 클라우드 오브젝트 스토리지에 저장됩니다. 데이터는 객체를 가리키는 고유 ID와 함께 객체에 원시 데이터로 저장됩니다. 애플리케이션의 경우, 비정형 데이터는 NoSQL 또는 벡터 데이터베이스에 저장됩니다. 5. 최종 용도: 일반적인 사용 사례는 비정형 데이터의 일부 분석, 일부 애플리케이션 또는 모델 학습이나 추론을 위한 검색입니다. 더 깊이 들어가기 전에, 오늘날의 선두 주자인 MongoDB와 데이터브릭스의 발전을 포함하여 이 분야의 역사에 대해 논의해야 합니다. 2. 비정형 데이터의 요약된 역사 이 정보의 대부분은 여기에서 확인할 수 있는 데이터에 관한 일련의 게시물에서 나온 것입니다. 비정형 데이터의 증가는 크게 세 가지 추세로 이루어져 있습니다: 1. 비정형 데이터의 지속적인 기하급수적 증가. 2. 이러한 데이터를 저장하는 도구, 즉 NoSQL 데이터베이스. 3. 대량의 데이터를 처리하기 위한 도구, 즉 Apache Spark. 이러한 부상은 사실 인터넷에서 시작되었으므로 여기서부터 시작하겠습니다. 인터넷, NoSQL의 탄생, 그리고 “빅 데이터”의 부상 인터넷은 비정형 데이터의 확산으로 이어졌습니다. 점점 더 많은 웹사이트와 사용자가 주로 텍스트 형태의 데이터를 생성했고, 시간이 지나면서 비디오와 오디오로까지 그 범위가 확대되었습니다. 2000년대 들어 이러한 유형의 데이터를 처리하기...
산업분석
2025. 01. 14
6
1
32
비정형 데이터 환경

EDA 입문서: 반도체용 소프트웨어 from EricFlaningam

케이던스와 시놉시스는 지난 10년간 세계에서 가장 수익률이 좋은 주식 중 두 곳입니다. Cadence와 Synopsys의 연간 수익률은 각각 33%와 29%입니다(배당금 제외). 이 두 회사는 미국의 중요한 전략적 자산일 뿐만 아니라 세계에서 가장 방어력이 뛰어난 소프트웨어 회사 중 하나가 되었습니다. 오늘날 이들의 이야기는 매우 긍정적입니다. 10~15년 전에는? 앞으로 나아갈 길은 그렇게 명확하지 않았습니다. 특히 2000년대 들어 가격 책정과 실행에 어려움을 겪었던 케이던스는 KKR의 사모펀드 인수를 검토하는 지경에 이르렀습니다. 2009년 립-부 탄이 회사를 인수했고, 그 이후 주가는 대부분 상승세를 타고 있습니다. 진정한 기대치 투자 스타일에서는 낮은 기대치 + 훌륭한 펀더멘털 성과가 놀라운 수익률 상황을 만들어 냈습니다. “당신이 들어본 적 없는 가장 중요한 회사"라는 표현이 과장된 측면이 있지만, Synopsys와 Cadence Design Systems는 확실히 그 대화에 포함될 수 있습니다. 이 두 회사는 Siemens EDA와 함께 반도체 설계에 사용되는 소프트웨어인 전자 설계 자동화(EDA) 산업에서 독과점적 지위를 누리고 있습니다. 전 세계 모든 주요 반도체 회사가 이 소프트웨어를 사용합니다. 즉, 우리가 사용하는 모든 주요 기술은 이 회사들에 의존하고 있습니다. 그 덕분에 Synopsys와 Cadence는 (1) 지난 10년간 시장에서 가장 높은 수익률을 기록했고, (2) 시장에서 가장 높은 밸류에이션을 받았습니다. 이 글은 전자 설계 자동화(EDA) 산업과 주요 업체, 그리고 그 미래에 대한 여러 편의 시리즈 중 첫 번째 글입니다. 1. EDA의 개요 및 반도체 에코시스템에서의 위치 전자 설계 자동화(EDA) 툴은 반도체를 설계하는 데 사용되는 소프트웨어입니다. Nvidia와 같은 반도체 설계 회사는 이러한 도구를 사용하여 칩을 설계하고 TSMC에서 제작하기 전에 성능을 시뮬레이션합니다. 또한 반도체 IP의 '빌딩 블록'도 판매합니다. 기업이 칩을 설계할 때 Wi-Fi 및 USB 상호 작용을 다시 설계하는 대신 해당 기능에 대한 IP를 구입하여 설계에 포함시킬 수 있습니다. 아래에서 생태계 내에서의 위치를 확인할 수 있습니다: 반도체를 설계하는 과정은 다음과 같습니다: 1. 요구 사항 수집 및 시스템 설계 다른 물리적 제품과 마찬가지로 칩 설계의 첫 번째 단계는 칩이 달성해야 하는 목표를 정의하는 것입니다. 칩이 무엇을 하고, 어떻게 사용될 것이며, 이러한 목표를 달성하기 위해 어떤 성능 메트릭을 충족해야 할까요? 이 모든 것은 고객이 요구하는 사항과 칩의 사용 사례에 따라 결정됩니다. 기업은 설계로 넘어가기 전에 모든 요구 사항이 포함된 사양서를 정의합니다. 2. 로직 설계 및 RTL(레지스터 전송 레벨) 코딩 다음으로 디자이너 팀이 로직 또는 회로 설계를 시작합니다. 이들은 칩의 상위 레벨 빌딩 블록을 지정하고 Verilog와 같은 코딩 언어를 사용하여 해당 빌딩 블록의 로직을 정의합니다. 이러한 빌딩 블록에는 논리 회로, 메모리 회로, 칩 안팎의 데이터 흐름을 관리하는 입출력 인터페이스와 같은 블록이 포함됩니다. 예를 들어, 로직 블록에는 여러 메모리 블록의 데이터가 필요하며 이러한 작업은 칩 전체에서 동기화되어야 하므로 RTL 설계는 데이터가 칩을 통해 어떻게 흐르는지 정의해야 합니다. 최종 결과는 로직 및 메모리 회로가 함께 배선된 '청사진'입니다. 3. 로직 합성 칩은 모든 회로를 수작업으로 설계하기에는 너무 복잡하기 때문에 설계자는 로직 합성 도구를 사용하여 RTL 코드를 칩의 논리적 표현을 만드는 게이트의 '넷리스트'로 변환합니다. 이러한 게이트는 반도체가 정보를 처리할 수 있는 경로를 생성하며, (AND, OR, NOR) 및 플립플롭(1 또는 0 상태의 메모리 유닛)과 같은 논리 함수로 구성됩니다: 4. 물리적 회로 설계 논리 설계가 끝나면 넷리스트는 네 가지 주요 단계로 구성된 물리적 설계로 넘어갑니다: 플로어플랜, 배치, 클록 트리 합성, 라우팅입니다. 플로어플래닝은 전선 길이, 면적, 전력 소비를 최소화하기 위해 칩에 큰 블록(로직, 메모리)의 대략적인 위치를 배치하는 단계입니다. 배치는 대형 블록 내에서 셀(로직 게이트 및 플립플롭)의 정확한 위치를 결정합니다. 클록 트리 합성은 회로의 데이터 흐름을 타이밍에 맞게 최적화하기 위해 분배 네트워크를 생성합니다. 예를 들어 논리 회로에 여러 메모리 유닛의 데이터가 필요한 경우 데이터가 동시에 논리 회로에 도착해야 합니다. 데이터 버퍼 또는 인버터를 삽입하여 칩 전체에 클럭 신호를 분배합니다. 마지막으로 라우팅은 칩에 배선을 배치하여 전선 길이를 최소화하고 칩 내의 '누화' 및 '기생' 효과를 최소화합니다. 5. 시뮬레이션, 검증 및 검증 칩이 설계되면 성능 요구 사항을 충족하고 TSMC와 같은 팹의 설계 규칙을 위반하지 않는지 확인하기 위해 시뮬레이션을 실시합니다. 칩은 설계 규칙 검사, 레이아웃 검증, 타이밍 분석, 파운드리 규칙 분석 등 여러 검증 단계를 거칩니다. 규칙을 위반하는 경우 설계를 수정하고 다시 검증합니다. 설계 결함으로 인한 비용은 수천만 달러에 달하며, 제품 출시가 지연될수록 수억 달러로 늘어날 수 있습니다. 검증은 반도체 설계의 주요 병목 현상 중 하나이며, 일반적으로 설계자 한 명당 1~2명의 검증 엔지니어가 있습니다. 이러한 높은 수요와 ...

AI 반도체 환경 from Eric Flaningam

지난 2년간의 엔비디아의 부상은 기술 분야의 위대한 사례 중 하나로 기록될 것입니다. 젠슨은 2006년에 가속 컴퓨팅을 구상했습니다. 그는 2023년 창립 연설에서 “2007년에 우리는 CUDA GPU 가속 컴퓨팅을 발표했습니다. 우리의 포부는 CUDA가 과학 컴퓨팅과 물리 시뮬레이션에서 이미지 처리에 이르는 다양한 애플리케이션을 향상시키는 프로그래밍 모델이 되는 것이었습니다. 새로운 컴퓨팅 모델을 만드는 것은 엄청나게 어렵고 역사상 거의 이루어지지 않았습니다. CPU 컴퓨팅 모델은 IBM System 360 이후 60년 동안 표준이 되어 왔습니다.” 그 후 15년 동안 엔비디아는 그 비전을 실행에 옮겼습니다. CUDA를 통해 머신 러닝에 GPU를 사용하는 개발자 생태계를 구축했습니다. 멜라녹스를 통해 데이터센터 네트워킹의 선두주자가 되었습니다. 그런 다음 모든 하드웨어를 서버에 통합하여 수직적으로 통합된 컴퓨팅 인 어 박스를 제공했습니다. AI 열풍이 불기 시작했을 때, 엔비디아는 AI 골드러시에서 독점적인 지위를 누리며 이를 활용할 수 있는 가장 유리한 위치에 있던 회사였습니다. 그 결과 Nvidia는 역사상 가장 성공적인 회사 중 하나로 부상했습니다. 이러한 성장과 함께 가장 큰 고객을 포함한 경쟁이 시작되었습니다. 엔비디아의 지배력을 차지하기 위해 수백억 달러가 생태계에 유입되었습니다. 이 글에서는 오늘날의 생태계와 앞으로의 전망에 대해 간략히 살펴보겠습니다. 더 깊이 들어가기 전에 생태계를 어떻게 구성하는지 간략히 살펴보겠습니다: 지난 2년간의 엔비디아의 부상은 기술 분야의 위대한 사례 중 하나로 기록될 것입니다. 젠슨은 2006년에 가속 컴퓨팅을 구상했습니다. 그는 2023년 창립 연설에서 “2007년에 우리는 CUDA GPU 가속 컴퓨팅을 발표했습니다. 우리의 포부는 CUDA가 과학 컴퓨팅과 물리 시뮬레이션에서 이미지 처리에 이르는 다양한 애플리케이션을 향상시키는 프로그래밍 모델이 되는 것이었습니다. 새로운 컴퓨팅 모델을 만드는 것은 엄청나게 어렵고 역사상 거의 이루어지지 않았습니다. CPU 컴퓨팅 모델은 IBM System 360 이후 60년 동안 표준이 되어 왔습니다.” 그 후 15년 동안 엔비디아는 그 비전을 실행에 옮겼습니다. CUDA를 통해 머신 러닝에 GPU를 사용하는 개발자 생태계를 구축했습니다. 멜라녹스를 통해 데이터센터 네트워킹의 선두주자가 되었습니다. 그런 다음 모든 하드웨어를 서버에 통합하여 수직적으로 통합된 컴퓨팅 인 어 박스를 제공했습니다. AI 열풍이 불기 시작했을 때, 엔비디아는 AI 골드러시에서 독점적인 지위를 누리며 이를 활용할 수 있는 가장 유리한 위치에 있던 회사였습니다. 그 결과 Nvidia는 역사상 가장 성공적인 회사 중 하나로 부상했습니다. 이러한 성장과 함께 가장 큰 고객을 포함한 경쟁이 시작되었습니다. 엔비디아의 지배력을 차지하기 위해 수백억 달러가 생태계에 유입되었습니다. 이 글에서는 오늘날의 생태계와 앞으로의 전망에 대해 간략히 살펴보겠습니다. 더 깊이 들어가기 전에 생태계를 어떻게 구성하는지 간략히 살펴보겠습니다: 1. AI 가속기에 대한 몇 가지 배경 매우 높은 수준에서 모든 논리 반도체에는 다음과 같은 부품이 있습니다: 1. 컴퓨팅 코어 - 실제 컴퓨팅 연산을 실행합니다. 2. 메모리 - 컴퓨팅 코어에 전달할 데이터를 저장합니다.  3. 캐시 - 빠르게 검색할 수 있는 데이터를 임시로 저장합니다.  4. 제어 장치 - 다른 구성 요소의 작업 순서를 제어하고 관리합니다. 전통적으로 CPU는 범용 컴퓨터입니다. 복잡한 다단계 프로세스를 포함한 모든 계산을 실행하도록 설계되었습니다. 아래 그림과 같이 더 많은 캐시, 더 많은 제어 장치, 훨씬 더 작은 코어(CPU의 산술 논리 장치 또는 ALU)를 갖추고 있습니다. 반면에 GPU는 많은 소규모 계산 또는 병렬 처리를 위해 설계되었습니다. 처음에 GPU는 디스플레이를 로드하기 위해 많은 작은 계산을 동시에 실행해야 하는 그래픽 처리를 위해 설계되었습니다. 이러한 기본 아키텍처는 AI 워크로드에도 잘 적용되었습니다. Nvidia는 초기 GPU를 통해 프로그래밍 가능한 셰이더를 개척했으며, 모든 GPU를 프로그래밍 가능한 컴퓨터로 전환하기 위해 CUDA를 출시했습니다. GPU가 AI에 좋은 이유는 무엇인가요? 대부분의 AI 모델의 기본 단위는 신경망으로, 각 레이어에 노드가 있는 일련의 레이어입니다. 이러한 신경망은 학습 중인 데이터를 가장 정확하게 표현하기 위해 각 노드에 가중치를 부여하여 시나리오를 표현합니다. 모델이 학습되면 새로운 데이터를 모델에 제공할 수 있으며, 모델은 출력된 데이터가 무엇인지 예측할 수 있습니다(추론). 이러한 “데이터 전달”에는 행렬 곱하기 [(한 레이어, 해당 노드 및 가중치) 곱하기(다른 레이어, 해당 노드 및 가중치)]의 형태로 수많은 작은 계산이 필요합니다. 이 행렬 곱셈은 GPU와 그 병렬...

[IT] AI 데이터 센터에 대한 입문서, 2부: 에너지 from EricFlaningam

AI 데이터센터의 여러 병목 현상 중 에너지가 가장 중요하면서도 해결이 가장 어려운 문제일 수 있습니다. 데이터센터 에너지 소비에 대한 추정이 사실로 밝혀지면(또는 사실에 가까워지면) 현재의 에너지 인프라로는 이러한 수요를 감당할 수 없게 될 것입니다. AI 붐이 일어나기 전에는 데이터센터 전력 소비가 지속적으로 증가할 것으로 예상되었습니다. 컴퓨팅 수요는 계속 증가할 것이고 데이터센터도 그 수요를 충족하기 위해 성장할 것입니다. 하지만 AI와 전력 소모가 많은 아키텍처가 추가되면서 예상치는 더 높아졌습니다! 안타깝게도 에너지 용량을 빠르게 늘릴 수 있는 쉬운 방법은 없습니다. 데이터 센터에는 온그리드 에너지와 오프그리드 에너지의 두 가지 옵션이 있습니다. 온그리드 에너지는 전력망을 통과하여 유틸리티에 의해 공급됩니다. 오프 그리드 에너지(또는 “계량기 뒤”)는 현장 태양열, 풍력, 배터리 등 전력망을 우회합니다. 또는 2.5GW 원자력 발전소 옆에 GW 데이터 센터를 건설하는 것도 가능합니다! 온그리드 에너지의 문제점은 그리드 용량을 확장하는 데 걸리는 시간입니다. 아래에서 요청부터 상업적 운영까지 걸리는 전송 대기 시간을 확인할 수 있습니다. (이는 에너지원이 송전 용량을 신청한 후 실제 사용되기까지 걸리는 시간을 의미합니다.) 따라서 데이터센터는 불가피하게 오프그리드 에너지에 의존해야 합니다. 오프그리드 전력은 그리드 전력보다 안정성이 떨어지고 최종 사용자가 관리해야 하는 작업도 더 많기 때문에 좋은 솔루션은 아닙니다. 에너지 수요를 해결할 수 있는 명확한 옵션이 없는 상황에서 필요한 에너지 수요를 충족하려면 다음과 같은 요소들을 조합해야 할 것으로 생각됩니다: 1. 오프-그리드 발전 2. 원자력 3. 장기 에너지 저장(배터리) 4. 전력이 있는 곳에 구축 5. 그리드 최적화 기술 이는 정책 개혁과 같은 여러 가지 솔루션 중 일부에 불과합니다. 에너지 시장, 데이터 센터 에너지 수요, 그리고 이러한 수요를 해결할 수 있는 잠재적 기회에 대해 자세히 살펴봅시다. 1. 전기 가치 사슬 - 전력을 얻는 방법 이 섹션은 에너지 산업에 대한 입문서라고 생각하시고, 이미 이 과정에 익숙하다면 건너뛰셔도 좋습니다. [에너지 시장을 처음 접하는 분들을 위해 잠시만 기다려주세요.] 에너지 공급망은 크게 다음과 같이 나눌 수 있습니다: 1. 공급원 - 화석 연료, 재생 에너지, 원자력은 에너지로 전환할 수 있는 원료를 제공합니다. 2. 발전 - 발전소는 화석 연료나 핵 물질을 전기로 바꾸며, 재생 에너지의 경우 발전원과 훨씬 가까운 곳에서 이 과정이 이루어집니다. 3. 송전 - 전기는 목적지에 가까운 고압선을 통해 송전됩니다. 4. 유틸리티/배전 - 유틸리티는 최종 사용자에게 에너지가 배분되는 과정을 관리합니다.  “그리드"는 발전소에서 최종 사용자에게 에너지를 전송하는 인프라를 의미합니다. 이는 송전선, 인터커넥트, 변전소 및 전력선으로 구성됩니다. 과거에는 수직적으로 통합된 유틸리티 회사가 이 프로세스의 각 단계를 소유했습니다. 하지만 최근 수십 년 동안 이 과정은 더욱 세분화되었습니다. 전력회사는 여전히 최종 사용자에게 배전을 관리하지만(즉, 소비자는 전력회사에 전기 요금을 지불합니다), 전력회사만이 전력 생산자는 아닙니다. 에너지의 약 60%는 유틸리티 회사가 생산하고, 나머지 40%는 독립 전력 생산업체가 생산합니다. 그런 다음 이 에너지는 수요와 공급에 따라 '에너지 시장'을 통해 판매됩니다: 이러한 에너지는 “독립 시스템 운영자” 또는 ISO(RTO라고도 함)가 관리하는 고압 송전선을 통해 전송됩니다. 그 예로 북부 버지니아 지역의 에너지 전송을 관리하는 PJM Interconnect를 들 수 있습니다: PJM의 송전 시스템 또는 그리드는 13개 주와 컬럼비아 특별구 전역의 소비자와 발전원을 연결합니다. PJM은 전력망의 신뢰성을 관리하고, 발전량을 분배하며, 도매 전력의 이동을 조정합니다. PJM의 송전 시스템은 소비자가 저렴한 비용으로 안정적인 전력을 이용할 수 있도록 지원합니다. 미국 전력망의 약 ⅔는 ISO가 관리하고, ⅓은 유틸리티가 관리합니다. 송전 시스템 지도는 여기에 나와 있습니다: 이러한 ISO는 전송을 관리하지만 소유하지는 않으며 비영리 단체입니다. 그리드 확장의 과제 중 하나는 그리드 확장에 대한 인센티브(및 비용)를 조정하는 것입니다. 에너지 가치 사슬을 요약하면, 에너지는 어떤 천연 자원에서 생성되어 최종 사용자에게 전송 및 분배됩니다. 간단하지 않나요? 2. 우리가 여기까지 온 방법 - 전력망의 역사 [이 섹션의 많은 정보는 건설 물리학의 전기 그리드에 관한 뛰어난 기사 시리즈에서 가져온 것입니다.] 에너지 시장의 복잡성과 오늘날 우리가 직면한 문제를 이해하려면 한 걸음 물러서서 우리가 어떻게 여기까지 왔는지 ...

보험회사는 어떻게 수익을 창출할까요? 비즈니스 모델 설명

보험회사는 개인이나 기업을 대신하여 사건의 재정적 위험을 떠안는 것을 비즈니스 모델로 삼고 있습니다. 대부분의 보험회사는 두 가지 방식으로 수익을 창출합니다: 보험 보장의 대가로 보험료를 부과한 다음 그 보험료를 이자 창출 자산에 재투자하는 것입니다. 또한 보험사는 고객의 위험을 모아 더 큰 포트폴리오에 재분배함으로써 위험을 분산하기도 합니다. 주요 요점 - 보험회사는 개인이나 회사를 대신하여 보장되는 사건의 재정적 위험을 떠맡습니다. - 보험 회사는 보험금을 지급하기 위해 보장되는 위험과 조건을 명시한 보험을 인수합니다. - 그 대가로 보험사는 개인 또는 기업에 연간 또는 월간 보험료를 부과하여 수익을 얻습니다. - 많은 보험회사는 보험료를 이자 수익이 발생하는 자산에 투자합니다. 보험료 및 가격 책정 위험 보험회사의 수익 모델은 자동차 보험, 건강 보험, 재산 보험 등 보험의 종류에 따라 다를 수 있습니다. 그러나 보험 업계는 일반적으로 고객이 재정적 위험을 떠안고 그 일부 또는 전부를 보험사에 전가하는 방식으로 운영됩니다. 보험사는 보험금 청구가 접수되면 고객에게 보험금을 지급하는 조건과 보장되는 사건을 명시한 보험증권을 작성합니다. 그 대가로 보험사는 고객으로부터 보험료를 지급받습니다. 보험사의 핵심 업무는 이벤트 발생 위험을 산정하고 해당 위험을 감수하는 데 따른 적절한 보험료를 부과하는 것입니다. 보험 회사가 10만 달러의 조건부 보험금을 지급하는 보험을 제공한다고 가정해 보겠습니다. 보험 회사는 보험이 트리거되어 보험금 지급이 발생할 수 있는 위험을 평가해야 합니다. 이를 통해 보험사는 위험을 감수할 수 있는 위험 수준과 위험을 감수한 고객에게 적절한 보상을 제공하기 위해 고객에게 부과할 보험료를 결정해야 합니다. 이러한 분석을 언더라이팅이라고 합니다. 회사가 효과적으로 위험 가격을 책정한다면 보험금 지급에 지출하는 것보다 보험료로 더 많은 수익을 창출해야 합니다. 그러나 언더라이팅 팀이 위험 수준을 잘못 계산하면 보험사는 일부 고객에게 보험료를 너무 적게 부과하고 다른 고객에게 너무 많이 부과할 수 있습니다. 보험사가 특정 보험의 위험에 대해 보험료를 너무 적게 부과하면 보험금 청구가 발생하면 보험사는 손해를 볼 수 있습니다. 반대로 보험사가 위험을 과도하게 보상하여 보험료를 너무 높게 책정하면 잠재 고객을 경쟁사에 빼앗길 수 있습니다. 어떤 의미에서 보험사의 실제 상품은 보험금 청구입니다. 고객이 보험금을 청구하면 회사는 이를 처리하고 정확성을 확인한 후 보험금을 지급해야 합니다. 이러한 실사는 사기성 청구를 걸러내어 회사의 손실 위험을 최소화하는 데 도움이 됩니다. 이자 수익 및 수익 앞서 언급했듯이 보험 회사는 보험료의 일부를 투자하여 수익을 창출합니다. 시장 금리가 상승하면 보험회사는 국채, 우량 회사채, 고수익 예금 계좌, 양도성 예금증서(CD)와 같은 이자 ...
산업분석
2024. 10. 17
2
산업분석
2024. 12. 21
3
1
46
EDA 입문서: 반도체용 소프트웨어 from EricFlaningam
산업분석
2024. 11. 11
3
0
31
AI 반도체 환경 from  Eric Flaningam
산업분석
2024. 10. 21
3
0
31
[IT] AI 데이터 센터에 대한 입문서, 2부: 에너지 from EricFlaningam
0
85
보험회사는 어떻게 수익을 창출할까요? 비즈니스 모델 설명