[IT] 데이터 레이크하우스 입문서 from EricFlaningam

이 글의 목표는 두 가지입니다: ​ 1. 데이터 웨어하우징의 역사, 기술, 트렌드에 대한 개요를 제공하는 것입니다. 2. 독자가 흥미를 느끼는 특정 투자에 대해 자세히 알아볼 수 있는 진입점을 제공합니다. ​ 이 글에서 '데이터 웨어하우스'에 대해 논의하는 동안 데이터 공간의 통합 추세에 대해 언급하는 것이 중요하다고 생각합니다. 대규모 데이터 제공업체들이 계속해서 플랫폼 접근 방식으로 전환하는 것을 목격하고 있습니다. 이들은 데이터 파이의 한 조각을 소유하는 것이 아니라 모든 데이터를 소유하기를 원합니다. ​ 이 때문에 데이터 웨어하우스는 더 광범위한 데이터 플랫폼에 통합될 수 있습니다. 데이터 웨어하우스와 데이터 레이크하우스와 같은 아키텍처는 밀접하게 연관되어 있으며, 레이크하우스는 본질적으로 분리된 웨어하우스입니다. 그래서 제가 공유하는 그래픽에서 이 두 가지를 함께 참조할 것입니다. ​ 이 글을 세분화해서 설명하겠습니다: ​ 1. 데이터 웨어하우스의 개요와 투자자들이 그토록 많은 관심을 갖는 이유 2. 데이터 웨어하우징의 역사 3. 기술 개요 4. 시장 개요 5. 데이터 웨어하우스 동향 ​ 항상 그렇듯이 저는 이 분야를 연구하는 투자자임을 밝히고 싶습니다. 제 목표는 이 분야를 단순화하고, 흥미로운 투자 기회를 찾고, 그 과정에서 독자들에게 약간의 가치를 제공하는 것입니다. ​ 1. 데이터 웨어하우스의 개요 및 투자자가 데이터에 관심을 갖는 이유 데이터 웨어하우스는 회사 데이터의 중앙 저장소입니다. 데이터 웨어하우스는 분석, 즉 전통적으로 비즈니스 인텔리전스 유형의 워크로드에 최적화되어 있습니다. 회사의 모든 데이터를 한 곳에 모아두면 보안, 규정 준수, 거버넌스를 한 곳에서 중앙 집중화하면서 회사 전체 데이터에 대한 분석을 실행할 수 있다는 이점이 있습니다. ​ 데이터 공간을 크게 소스, 인프라, 스토리지, 분석, 서비스로 나눌 수 있습니다. 데이터 웨어하우스는 아래에 표시된 데이터 분석 가치 사슬의 스토리지 섹션에 정확히 들어맞습니다. 데이터 플랫폼은 전체 스택을 소유하고자 합니다. 그렇다면 투자자들이 데이터에 관심을 갖는 이유는 무엇일까요? ​ 세 가지 주요 이유가 있습니다: ​ 1. 데이터와 AI의 연관성 - 자주 언급했듯이, AI와 머신러닝 모델은 학습된 데이터만큼만 우수합니다. 데이터 산업은 AI와 밀접한 관계를 맺고 있기 때문에 AI에 관심이 있는 투자자들이 공통적으로 관심을 갖는 분야입니다. ​ 2. "데이터는 새로운 석유" - 기업의 고유한 데이터 자산은 경쟁 우위를 제공하지만, 그 데이터를 활용할 수 있을 때만 가능합니다. 기업들은 데이터에서 가치 있는 인사이트를 얻기 위해 막대한 비용을 지불할 것입니다. 데이터는 IT 예산에서 큰 비중을 차지하는 항목이며, 투자자들은 이에 대한 비용을 지불할 것입니다. ​ 3. 엔터프라이즈 데이터의 해자 - 일단 기업이 데이터 플랫폼을 선택하면, 그 플랫폼에서 마이그레이션하는 것은 엄청난 작업입니다. 기업의 애플리케이션과 비즈니스 프로세스는 데이터 인프라를 기반으로 구축되며, 백엔드를 변경하는 데 따르는 위험은 일반적으로 너무 커서 ROI를 정당화하기 어렵습니다. ​ 이러한 항목 외에도 데이터 분야는 빠르게 성장하고 있으며, 수많은 상장 기업이 20% 이상의 매출 성장률을 기록하고 있고, 향후 몇 년 내에 기업공개(IPO)를 할 가능성이 있는 수많은 데이터 유니콘이 사모 시장에 등장하고 있습니다. 이 모든 것을 합치면 높은 수요, 명확한 성장 촉매제, 지속 가능한 해자를 만들 수 있는 잠재력을 갖춘 빠르게 성장하는 시장을 확보하게 됩니다. ​ 또한 40년 동안 몇몇 기업이 이 분야를 지배해 온 역사가 있습니다. ​ 2. 데이터 웨어하우스의 역사 데이터 웨어하우스의 역사에는 SQL의 초창기, 90년대와 2000년대 하드웨어 기반 애플리케이션, 그리고 현대의 클라우드 시대가 포함됩니다. ​ SQL과 데이터 웨어하우스의 부상 ​ SQL(관계형) 데이터베이스는 1970년대 말과 1980년대 초에 처음 상용화되었으며, Oracle과 IBM 같은 회사가 이 분야의 초기 리더였습니다(그리고 40여 년이 지난 지금도 SQL 데이터베이스를 통해 수십억 달러를 벌어들이고 있습니다). ​ 이러한 초기 데이터베이스는 비즈니스 활동을 기록하고 매출, 직원, 고객 데이터를 저장했습니다. 이러한 데이터베이스는 트랜잭션 워크로드(데이터 삽입, 업데이트, 내보내기)를 위한 온라인 트랜잭션 처리(OLTP) 데이터베이스로 간주되었습니다. 관계형 데이터베이스가 인기를 끌면서 기업들은 데이터에서 인사이트를 얻어 비즈니스 의사결정을 내리는 데 도움이 되는 분석에 사용하기 시작했습니다. ​ 하지만 이러한 새로운 분석 워크로드는 주로 읽기 전용이었습니다. 즉, 빠른 트랜잭션에는 최적화할 필요가 없었지만 보고를 위해 가져와야 하는 대량의 데이터를 저장하는 데는 최적화할 필요가 있었습니다. ​ 1985년 빌 인몬은 "데이터 웨어하우스"라는 용어를 "경영진의 의사 결정을 지원하는 주제 중심의 비휘발성, 통합, 시간 가변 데이터 모음"이라는 의미로 처음 만들었습니다. 이 아키텍처의 기본은 다음과 같습니다: 하드웨어 기반 애플리케이션 ​ 초창기 데이터 웨어하우스의 아키텍처는 서버에 데이터베이스 소프트웨어가 설치된 디스크 드라이브(스토리지)에 연결된 대형 서버(컴퓨팅)와 같은 형태였습니다. 이 아키텍처에는 문제가 있었습니다. 가장 큰 문제는 컴퓨팅 병목현상이었습니다. 데이터가 충분히 저장되면 서버가 쿼리 수요를 따라잡을 수 없었습니다. 이로 인해 병렬 처리(또는 오늘날의 MPP)와 공유 스토리지 아키텍처가 등장하게 되었습니다: 이를 통해 회사는 하나의 스토리지 위치에서 여러 서버를 사용할 수 있어 컴퓨팅 병목 현상을 없앨 수 있었습니다. 하지만 안타깝게도 이 문제는 금방 복잡해졌습니다. ​ 데이터 관리 프로세스를 간소화하기 위해 Teradata와 같은 기업들은 컴퓨팅과 스토리지를 결합한 하드웨어 기반 ...

이 글의 구성은 다음과 같습니다: ​ 1. 클라우드가 중요한 이유 2. 클라우드의 역사 3. 클라우드 기술 개요 4. 클라우드 시장 개요 - 하이퍼스케일러 통계 및 클라우드 에코시스템 ​ 클라우드의 미래는 어떤 모습일까요? ​ 중요 고지 사항: 항상 그렇듯이 저는 업계 전문가가 아니라 이 분야를 연구하는 투자자라는 점을 분명히 하고 싶습니다. 저는 투자자에게 가치를 제공할 수 있는 사모 시장과 공개 시장 모두에서 기회를 찾고 있으며, 이 연구가 투자자들에게도 같은 가치를 제공할 수 있기를 바랍니다. 즉, 이 내용은 투자 조언이 아니며 해당 산업에 투자하기 위한 지침으로 사용해서는 안 됩니다. ​ 한 가지 더 발표할 것이 있습니다: 제가 최근 펠리시스 벤처스의 팀에 합류하게 되었다는 소식을 전하게 되어 기쁩니다. 이제부터는 시장과 기업을 본격적으로 연구하게 될 것입니다. 뉴스레터를 읽어주시는 분들께 감사드리며, 앞으로도 여러분을 위한 가치 창출을 계속할 수 있기를 바랍니다. 언제나 그렇듯이 LinkedIn에서 자유롭게 소통하세요. ​ 정기적인 프로그램으로 돌아가겠습니다. ​ 1. 클라우드에 대한 소개와 클라우드가 중요한 이유 클라우드는 한 회사가 다른 회사에 하드웨어를 인터넷을 통해 제공되는 소프트웨어로 임대하는 간단한 개념입니다. 기본 수준에서 클라우드 인프라는 컴퓨팅 파워, 스토리지, 네트워킹과 같은 컴퓨팅의 구성 요소를 가상화(하드웨어를 소프트웨어로 표현)합니다. 또한 클라우드 기업은 해당 소프트웨어에 대한 관리 수준을 높여줍니다. 클라우드 SaaS는 기업이 해당 소프트웨어에 대한 설정만 구성하고 도구를 사용하기만 하면 되는 가장 관리형 서비스를 제공합니다. 가치 사슬을 다음과 같이 시각화할 수 있습니다: 비즈니스 모델은 간단하므로 클라우드가 왜 그렇게 영향력이 있었는지 설명하는 것부터 시작하겠습니다. 클레이튼 크리스텐슨의 팬이라면 클라우드는 파괴적 혁신의 완벽한 예라고 할 수 있습니다. 파괴적 혁신의 핵심 개념은 새로운 기술에 기반한 것이 아니라 새로운 고객을 대상으로 더 저렴한 방식으로 제공되는 오래된 기술에 기반한다는 것입니다. 클라우드는 기존 산업(엔터프라이즈급 하드웨어 및 소프트웨어)을 가져와 해당 기술에 대한 진입 장벽을 낮춘 새로운 비즈니스 모델을 만들어 새로운 시장(주로 기술 스타트업)에 판매했습니다. ​ 클라우드의 중요성은 진입 장벽을 낮추는 데서 비롯되었습니다. 클라우드 이전에는 기업들은 컴퓨팅 성능에 대한 초기 비용이 높고 시간이 지남에 따라 유지보수 비용이 낮아졌습니다. 이러한 초기 비용이 낮아지면서 컴퓨팅 파워 시장이 크게 확대되었습니다. 이는 컴퓨팅 파워에 훨씬 더 효율적으로 액세스하고 소프트웨어를 구축할 수 있는 스타트업에서 가장 두드러지게 나타났습니다. 이러한 스타트업은 클라우드 제공업체에 퍼널 효과를 제공했습니다. 클라우드 소프트웨어가 수십억 달러의 수익을 창출하면서 하이퍼스케일러는 그 수익의 상당 부분을 가져갔습니다. 시간이 지나면서 기업들도 클라우드로 이동했습니다. AWS가 출시된 지 거의 20년이 지난 지금도 클라우드 마이그레이션의 롱테일은 계속되고 있습니다. ​ AWS는 클라우드의 초창기를 정의했지만, 많은 기업이 AWS의 성장 기반을 마련하는 데 도움을 주었습니다. ​ 2. 클라우드의 역사 클라우드의 역사를 초기 역사(AWS 이전의 모든 것), AWS의 부상, 클라우드 환경의 진화라는 세 부분으로 나누어 살펴보겠습니다. ​ 초기 역사(1960-2003년) ​ 하룻밤 사이에 이루어진 많은 성공과 마찬가지로, 클라우드도 오랜 역사를 거쳐 마침내 등장하게 된 기술입니다. '클라우드 컴퓨팅'이라는 용어가 처음 언급된 것은 1994년 General Magic에서였지만, 이 용어는 1996년 Compaq에서 컴퓨팅과 인터넷의 미래에 대한 내부 문서를 작성하면서 더 널리 알려지게 되었습니다. 당시에는 학계와 IBM과 같은 기업 10K에서 언급된 그리드 컴퓨팅이라는 용어가 더 널리 사용되었습니다. 그리드 컴퓨팅의 기본 개념은 "전체 인터넷을 컴퓨터로 바꾸는" 컴퓨팅 리소스의 공유 네트워크였습니다. ​ 그 이전(1961년)에 '인공 지능'이라는 용어를 만든 존 매카시는 언젠가 컴퓨팅이 유틸리티로 판매될 것이라고 제안했습니다. 1967년 IBM은 운영 체제를 가상화하여 여러 사용자가 하나의 컴퓨터를 사용할 수 있는 '타임셰어링'을 만들었습니다. 인터넷의 초기 버전인 ARPANET도 1969년에 발명되었습니다. ​ 이후 20년 동안 하드웨어와 소프트웨어는 계속 발전하여 데이터 센터를 개선했습니다. 1998년에 설립된 VMWare는 서버 가상화 분야의 선도 기업이 되었습니다. 1999년에 설립된 Salesforce는 인터넷 제공 소프트웨어의 선구자가 되었습니다. 같은 시기에 스타트업들은 인터넷을 통해 제공되는 컴퓨팅의 잠재력을 깨닫기 시작했습니다. ​ 1999년에 마크 안드레센과 벤 호로위츠는 "소프트웨어 인프라 서비스 제공업체"인 Loudcloud를 설립했습니다. Loudcloud는 2000년 상장하기 전까지 수억 달러의 벤처 자금을 조달했습니다. 하지만 데이터 센터 구축에 드는 막대한 비용과 클라우드에 대한 시장의 준비 부족으로 인해 2002년에는 호스팅 사업을 6,350만 달러에 매각했습니다. 비즈니스의 소프트웨어 부분은 유지한 채 2007년에 HP에 16억 달러에 매각했습니다. ​ 즉, 사람들은 클라우드가 등장하기 전부터 클라우드가 등장할 것이라는 사실을 알고 있었지만, 클라우드의 출현을 주도할 회사를 예측한 사람은 거의 없었습니다. ​ AWS의 부상 ​ AWS의 기원에 대한 많은 대중적인 의견은 "클라우드의 원래 아이디어는 남는 데이터 센터 용량을 임대하는 기업에서 나왔다"는 것입니다. 가장 유명한 사례로 클라우드의 출현을 들 수 있습니다. Amazon.com은 계절적 변동을 고려할 수 있는 충분한 용량을 구축해야 했습니다. 그래서 여분의 컴퓨팅 용량을 임대하기로 결정했고, 그 후로 나머지는 역사 속으로 사라졌습니다." 안타깝게도 이는 사실이 아닌 것 같습니다. AWS의 기원에 대한 훌륭한 기사를 여기에서 읽어보실 수 있습니다. ​ AWS의 실제 기원은 두 가지 문제에 대한 대응으로 시작되었습니다: ​ 1. 엔지니어들은 프로젝트에 필요한 기본 요소인 스토리지 시스템과 컴퓨팅 아키텍처를 구축하는 데 70%의 시간을 할애했습니다. ​ 엔지니어링 팀은 새로운 기능이 출시될 때마다 이 작업을 수행해야 했습니다. 베조스와 다른 관리자들은 이를 "차별화되지 않은 무거운 짐"이라고 부르기 시작했습니다. 이에 대해 회사는 "모든 팀이 신뢰할 수 있는 공유 인프라 계층을 구축하여 어느 팀도 스토리지, 컴퓨팅 또는 데이터베이스를 구축할 필요가 없도록 하자"고 생각하기 시작했습니다. ​ 2. 다른 회사들은 웹 페이지에 Amazon 제품 링크를 삽입하기를 원했습니다. ​ 예를 들어, 한 요리 웹사이트에서는 새 스탠드 믹서에 대한 링크를 삽입하고자 했습니다. 아마존은 이를 흔쾌히 받아들여 웹사이트에 삽입할 수 있는 코드를 보내주었습니다. 시간이 지남에 따라 Amazon은 확장 가능한 소프트웨어를 출시하여 누구나 자신의 사이트에 Amazon 기능을 통합할 수 있도록 했습니다. 놀랍게도 Amazon의 사용량 대부분은 내부 소프트웨어 엔지니어들이 사용했습니다. 간단히 말해, 엔지니어들은 API를 통해 소프트웨어 기능을 쉽게 통합할 수 있기를 원했습니다. ​ 2003년에 외부에 있는 한 팀에서 관리자들은 아마존 웹 서비스가 실제 비즈니스가 될 수 있다고 판단했습니다. AWS가 첫 번째 제품인 Amazon Simple Storage Service(S3)를 출시하는 데는 3년이 걸렸습니다. 5개월 후, Elastic Compute Cloud(EC2)가 출시되었습니다. ​ 클라우드 물결이 시작된 것입니다. ​ Fortune은 "이제 스타트업은 서버를 구입하고 데이터 센터를 구축하기 위해 수백만 달러를 모으는 대신 신용카드로 온라인에 접속하고 사용한 컴퓨팅 성능과 스토리지에 대해서만 월별 요금을 지불할 수 있게 되었습니다."라고 설명했습니다. 새 앱이 히트하면 필요한 모든 클라우드 서비스를 즉시 이용할 수 있었습니다. 앱이 실패하더라도 고물 장비가 쌓여 있는 방에 갇혀 있지 않아도 ...

이 입문서의 목표는 기술 분야의 주요 산업에 대한 기초적인 이해를 높이고, 각 산업의 주요 트렌드를 이해하며, 잠재적인 투자 기회를 파악하는 것입니다. ​ 이 입문서가 여러분에게도 비슷한 도움이 되길 바랍니다. ​ 저는 데이터센터에 대한 전문가가 아니라 이 분야를 연구하는 투자자일 뿐이라는 점을 미리 말씀드리고 싶습니다. ​ 이 글의 구성은 다음과 같습니다: ​ 목차 1. 데이터 센터 소개 2. 데이터 센터 시각화하기 3. 컴퓨팅 시장(CPU, GPU, ASIC) 4. 네트워킹 시장 5. 스토리지 시장 6. 기타 수혜자 7. 투자자를 위한 전망 ​ 데이터 센터 개요 오늘날 데이터 센터는 투자자를 위해 3가지 범주로 나눌 수 있습니다. 가장 기초적인 수준에서 반도체는 데이터센터의 대부분의 기술을 가능하게 합니다. 중간에는 컴퓨팅, 네트워킹, 스토리지로 나눌 수 있는 데이터센터 자체가 있고, 이러한 데이터센터가 서버에 패키지화되어 있습니다. 그 밑에는 전력 및 냉각 기술 등 데이터센터를 운영하는 데 필요한 기술과 데이터센터의 제3자 운영자가 있습니다. 마지막으로 클라우드 계층이 있는데, 이는 기술을 개발할 수 있는 추상화 계층을 제공합니다. ​ 여기서는 세미 가치 사슬에 대해 자세히 설명하지 않겠지만, 여기에서 입문서를 찾아보실 수 있습니다. 또한 세미 분석과 조작된 지식은 따라야 할 최고의 세미 출판물 중 두 가지입니다. ​ 이를 통해 데이터 센터를 분석하기 시작할 수 있습니다. ​ 데이터 센터 시각화 데이터 센터의 규모를 시각화하는 것이 가장 먼저 시작해야 할 일이라고 생각합니다. 다음은 데이터 센터가 어떻게 구조화되어 있는지에 대한 꽤 좋은 이미지입니다: 가장 큰 하이퍼스케일러 데이터센터 중 일부는 100만 평방피트(축구장 25개 크기)가 넘는 거대한 규모를 자랑하기도 합니다. 데이터 센터를 구축하는 데 필요한 인프라에는 토지, 건축, 변압기, 전력 관리 및 냉각 기술이 포함됩니다. ​ 젠슨 황은 이전에 데이터센터 비용의 약 50%가 이러한 인프라에 사용되고 나머지 50%는 컴퓨팅, 네트워킹, 스토리지에 사용된다고 추산한 바 있습니다. ​ 이 모든 장비는 컴퓨팅 및 스토리지 전력을 수용하는 서버에 전력을 공급하기 위한 것입니다. 다음은 Nvidia DGX A100 서버의 예시입니다: 이러한 서버는 다른 서버, 네트워킹 장비, 스토리지와 함께 랙에 저장됩니다. 그리고 데이터 센터에는 수백에서 수천 개의 랙이 있습니다: 수천 개의 빌딩에 해당하는 컴퓨터로 호스팅되는 기술 세계를 개발하는 것은 인간의 독창성을 보여주는 놀라운 증거입니다(하지만 본론으로 들어가겠습니다). ​ 데이터센터 업계의 시장을 세분화해 보겠습니다. ​ 1. 컴퓨팅 컴퓨팅 성능은 데이터 센터의 핵심입니다. ​ 컴퓨팅 기본 사항 컴퓨팅 성능은 서버에서 애플리케이션을 실행하는 데 필요한 처리 능력과 메모리를 의미합니다. 서버는 워크로드 유형에 따라 다양한 유형의 칩(일반적으로 CPU 또는 GPU)을 사용합니다. CPU는 컴퓨터의 중앙 프로세서로 복잡한 작업을 처리하는 데 능숙하며 소프트웨어의 주요 인터페이스 역할을 합니다. GPU는 병렬 처리에 탁월하여 많은 간단한 작업을 한 번에 완료합니다. 그렇기 때문에 그래픽 본연의 목적에 매우 적합하며, 많은 작은 계산으로 구성된 AI 워크로드에 적합하게 설계되었습니다. ​ 애플리케이션별 집적 회로 및 필드 프로그래머블 게이트 어레이와 같은 다른 유형의 칩도 사용되지만 사용 빈도는 훨씬 적습니다. ASIC은 Google의 AI 가속기 TPU와 같이 특정 워크로드를 위해 맞춤 제작된 칩입니다. 논리적으로 볼 때, 약간의 효율성 향상으로 하이퍼스케일러의 비용을 크게 절감할 수 있기 때문에 클라우드 데이터 센터에서 ASIC의 사용 빈도는 계속 높아질 것입니다. FPGA는 다양한 작업을 구현하도록 재구성할 수 있으며, 현재는 데이터센터에서 널리 사용되지는 않지만 미래에는 유망한 기술입니다. ​ CPU 시장 데이터센터 CPU 시장은 역사적으로 인텔이 주도해 왔으며 AMD가 그 뒤를 바짝 쫓고 있습니다. 이제 AMD는 암페어, 아마존, 엔비디아 등의 Arm 기반 CPU와 함께 더 많은 경쟁을 벌이고 있습니다. ​ CPU 시장에서는 두 가지 주요 트렌드가 나타나고 있습니다. ​ 1. AMD의 점유율 확대 첫째, AMD는 x86 프로세서에서 인텔의 점유율을 빼앗아가고 있습니다. 이는 대부분 Lisa Su의 리더십 덕분입니다. Lisa는 2014년에 취임했으며 지난 10년간의 성과는 믿을 수 없을 정도로 놀라웠습니다: EPYC 데이터센터 CPU 제품군은 계속해서 성공을 거두고 있으며, 최신 제품으로는 4세대 EPYC Genoa가 있습니다. ​ 한편 인텔은 비즈니스 혁신을 시도하고 있습니다. TSMC로부터 세계에서 가장 진보된 공정 노드 제조를 다시 탈환하고자 합니다. 인텔 파운드리 서비스를 구축하기 위한 대대적인 노력이 진행 중입니다. 이러한 노력의 미래는 불투명합니다. 인텔은 CPU 시장 점유율을 방어하고, 인텔 파운드리 서비스를 구축하며, GPU 시장 점유율을 차지하기 위해 매우 어려운 길을 걸어야 합니다. 반도체 컨설턴트인 제이 골드버그는 이렇게 말합니다, ​ "AMD는 중요한 모든 지표에서 인텔을 앞서고 있으며, 인텔이 제조 방식을 고치고 새로운 제조 방법을 찾지 않는 한 계속 그렇게 할 것입니다." ​ 저는 인텔과 AMD 중 어느 쪽이 더 나은 회사인지에 대해 논평할 생각은 없습니다. 하지만 이 비교는 기대치에 대한 흥미로운 교훈을 줍니다. 리사 수가 CEO로 취임했을 때 AMD의 기대치는 이보다 더 낮을 수 없었습니다. 역설적이게도 이는 투자의 리스크 프로필을 크게 개선합니다. ​ 2. 점유율을 높여가는 Arm 기반 서버 또 다른 트렌드는 Arm 기반 프로세서입니다. 수년 동안 Arm은 효율성으로 인해 스마트폰에 선호되는 아키텍처였습니다. 최근에는 이러한 추세가 데이터 센터에도 이어지고 있습니다. ​ 아마존이 이러한 움직임을 주도하고 있습니다. 아마존은 2018년에 처음으로 Graviton 프로세서를 출시했습니다. 그 이후로 데이터센터 CPU 출하량의 약 3~4%까지 성장했습니다. 신생 칩 업체 중 하나인 Ampere Computing도 상당한 시장 점유율을 확보하고 있습니다. 또한 Nvidia는 최근 최초의 데이터센터 CPU인 Grace 칩 라인을 출시했습니다. Microsoft와 같은 다른 회사들도 Arm 기반 CPU를 만들고 있습니다. ​ 이러한 추세는 인텔과 AMD 모두에게 불리하며 맞춤형 실리콘으로의 이동이 계속됨에 따라 계속 지켜봐야 합니다. ​ GPU 시장 GPU 시장은 현재 엔비디아가 주도하고 있습니다. 그들은 이를 유지하기 위해 공격적으로 투자하고 있습니다. 현재 데이터센터 GPU의 주요 경쟁자는 AMD의 MI300입니다. AMD는 현재 데이터센터 GPU가 2024년에 35억 달러의 수익을 창출할 것으로 예상하고 있습니다. 인텔도 데이터센터 GPU를 제공하고...

저는 기술 생태계에 대한 전체적인 그림을 제공하기 위해 기술 분야의 각 주요 산업에 대한 입문서를 작성하는 더 넓은 목표를 가지고 있습니다. 저는 사이버 보안 전문가가 아니라는 점을 분명히 말씀드리고 싶습니다. 이 글의 목표는 이러한 산업에 대해 '0에서 1까지' 이해하고 독자들에게도 같은 이해를 제공하는 것입니다. ​ 중요한 고지 사항: 사이버 보안 산업은 매우 세분화되어 있고 매우 복잡하며 저는 이 분야의 초보자라는 사실을 인정합니다. 보안과 관련된 더 많은 정보를 원하시면 Strategy of Security와 소프트웨어 분석가 뉴스레터를 참고하시기 바랍니다. ​ 이 글의 구성은 다음과 같습니다: ​ 사이버 보안 및 주요 개념 소개 사이버 보안의 간략한 역사 사이버 보안 환경 개요 보안 분야 엣지 보안 네트워크 보안 클라우드 보안 데이터 보안 인프라 보안 보안 운영 주요 플레이어의 위치 ​ 사이버 보안 기본 사항 사이버 보안의 핵심은 사이버 위협으로부터 개인 또는 회사의 리소스(데이터, 디지털 자산, 물리적 자산)를 보호하는 것입니다. 이러한 위협에는 멀웨어(소프트웨어 위협), 랜섬웨어(데이터를 잠그거나 암호화하는 멀웨어), DDoS 공격(시스템 과부하), 피싱(사용자를 속이기 위한 이메일/메시지 전송) 등이 포함됩니다. 이러한 위협은 디바이스, 소프트웨어, 물리적 인프라 또는 사용자 계정을 통해 유입될 수 있습니다. ​ 사이버 보안의 목표는 이러한 공격이 발생하지 않도록 방지하고(예방), 공격이 발생했을 때 이를 찾아내며(탐지), 위협이 확인된 후에는 이를 해결하는(대응) 것입니다. 이는 디바이스에서 네트워크, 클라우드 환경, 물리적 인프라에 이르기까지 기술 스택 전반에서 이루어져야 합니다. ​ 네트워크에 대한 기본적인 배경 지식 장치는 로컬 영역 네트워크(LAN)의 스위치에 로컬로 연결됩니다. 그런 다음 라우터가 다른 LAN에 연결하여 광역 네트워크(WAN)를 생성합니다. 그런 다음 인터넷 서비스 제공업체 및 클라우드에 연결됩니다. 이러한 네트워크는 가정, 사무실, 데이터 센터 등에 있을 수 있습니다. 전통적으로 사이버 보안은 성곽과 해자 구조였습니다. 라우터/스위치 수준의 소프트웨어/하드웨어 방화벽과 같은 기술을 사용하여 '보호된 네트워크'에 악의적인 공격자가 접근하지 못하도록 하는 것이 목표였습니다. ​ 이제 '제로 트러스트' 방법론은 어떤 디바이스나 네트워크도 안전하지 않다고 가정합니다. 기업은 "심층 방어" 방법을 사용하여 여러 계층의 방어 체계를 갖춥니다. 한 방어 계층(예: 방화벽)이 손상되면 위협이 보호된 리소스에 액세스하려면 다른 보안 조치(다른 방화벽, 암호화, 액세스 보안, 클라우드 보안, 소프트웨어 보안, 물리적 보안)에 직면해야 합니다. ​ 이러한 상황을 (높은 수준에서) 시각화하면 다음과 같은 적절한 정신적 모델을 얻을 수 있습니다: 이 그래픽의 핵심은 이러한 경계가 흑백이 아니라는 점입니다. 이러한 세그먼트 간에 데이터가 지속적으로 교환되기 때문에 안전한 환경을 조성하려면 긴밀하게 통합되어야 합니다. ​ 사이버 보안의 역사 사이버 보안을 근본적인 수준에서 이해하기 위해서는 업계의 역사를 살펴보는 것이 중요하다고 생각합니다. 사이버 보안은 지난 50년 동안 기술과 함께 발전해 왔습니다. 기술이 계속 발전함에 따라 해당 기술로 인한 위협도 함께 증가했습니다. 사이버 보안은 이러한 위협에 대한 해결책이었습니다. ​ 인터넷 이전 시대(1970년대) 네트워킹은 항상 보안과 밀접한 관련이 있었기 때문에 시작하기에 좋은 곳입니다. ARPANET은 초기 컴퓨터 네트워크 중 하나였습니다. 연구원 Rob Thomas는 "나는 크리퍼이니 잡을 수 있다면 나를 잡아라!"라는 메모를 남기고 컴퓨터에서 컴퓨터로 이동하는 Creeper라는 프로그램을 만들었습니다. 이것은 컴퓨터 바이러스가 어떻게 발전할 수 있는지를 보여주는 초기 사례 중 하나였습니다. 이메일의 발명가인 레이 톰린슨은 결국 크리퍼를 쫓아 삭제하는 리퍼라는 프로그램을 만들었습니다. 이것이 안티바이러스의 첫 번째 예입니다. ​ 이러한 초기 사례는 기술과 함께 사이버 보안이 어떻게 진화할 것인지에 대한 그림을 그려줍니다. 기술이 발명되고, 위협이 등장하고, 사이버 보안은 그 기술을 보호할 방법을 찾게 됩니다. 1980년대에는 업계에서 상용화가 시작되었습니다. ​ 초기 인터넷 시대(1980~1990년대) 1980년대는 사이버 보안 산업의 여명기였습니다. 1987년, 몇몇 회사에서 비슷한 시기에 최초의 상용 바이러스 백신이 출시되었습니다. 맥아피는 이러한 초기 기업 중 하나였으며 향후 수십 년 동안 경쟁 우위를 유지하게 됩니다. 1989년에는 DEC(Digital Equipment Corporation)에서 최초의 방화벽 중 하나가 등장하여 조직에 네트워크를 보호할 수 있는 방법을 제공했습니다. 하지만 네트워크를 완벽하게 보호하는 데 필요한 기술이 부족했습니다. 1993년, 초기 상태 저장 방화벽(방화벽을 통과하는 정보를 분석하는 데 그치지 않고 네트워크의 상태를 추적하고 모니터링하는 방화벽) 회사 중 하나인 Checkpoint Security가 설립되었습니다. ​ 인터넷이 널리 보급됨에 따라 관련 취약점이 더욱 명확해지면서 현대 인터넷 시대의 혁신으로 이어졌습니다. ​ 현대 인터넷 시대(2000년대~현재) 현대 사이버 보안 시대는 클라우드 이전과 클라우드 이후의 사이버 보안으로 구분할 수 있습니다. 닷컴 버블 이후 기술이 폭발적으로 발전함에 따라 새로운 기술마다 보안이 필요했습니다. ​ 2000년대 초, 현재 업계의 거물인 Fortinet(2000년 설립)과 Palo Alto Networks(2005년 설립)에서 차세대 방화벽을 출시했습니다. 이러한 방화벽은 애플리케이션이 네트워크를 통해 통신하는 방식에 대한 더 큰 통찰력을 제공하고 정보가 네트워크를 통과하는 방식에 대한 더 많은 제어 기능을 제공했습니다. 팔로알토의 이야기에 대한 자세한 내용은 이 기사를 참조하세요. ​ 기업 데이터의 양이 증가함에 따라 기업의 자산을 추적하고 보안 위협이 발생한 시점을 파악하기 위해 Splunk(2003년 설립)와 같은 도구가 인기를 얻게 되었습니다. ​ 클라우드는 소프트웨어 개발의 진입 장벽을 크게 낮춰 새로운 유형의 보안 회사를 탄생시켰습니다. 수백, 수천 개의 다른 클라우드 기반 소프트웨어 제공업체들 사이에서 2007년에 Zscaler, 2010년에 Datadog, 2011년에 Crowdstrike가 설립되었습니다. ID 및 액세스 관리 역시 2009년에 설립된 Okta와 함께 클라우드 시대에 더욱 발전했습니다. ​ 모바일 디바이스가 널리 보급되면서 엔드포인트 보안은 더 큰 우선순위가 되었습니다. 크라우드스트라이크는 2011년에 설립되었습니다. Gartner는 2013년에 엔드포인트 위협 탐지 및 대응이라는 용어를 처음 만들었습니다. ​ 그 후 10년 동안 새로운 클라우드 기반 보안 회사가 계속 설립되었습니다. 또한 팔로알토, 크라우드스트라이크와 같은 기업이 플랫폼으로 확장하면서 대형 기술 기업들이 보안 영역에 진출했습니다. ​ 사이버 보안의 원래 목표인 위협으로부터 사람과 조직의 기술 자산을 보호하는 것으로 돌아가 보겠습니다. 더 많은 데이터, 더 많은 도구, 더 많은 위협이 등장함에 따라 사이버 보안도 이에 발맞춰야 했습니다. 그 결과 오늘날에는 업계가 엄청나게 세분화되고 경쟁이 치열해졌으며 사이버 공격의 복잡성이 증가하고 있습니다. ​ 사이버 보안 환경 개요 보안 분야가 워낙 세분화되어 있기 때문에 이를 하나의 그래픽으로 단순화하기란 쉽지 않습니다. 두 가지를 양보해야 했습니다: ​ 1. 그래픽에 몇 가지 약어를 사용해야 했는데, 구체적인 기술을 다룰 때 철자를 설명하겠습니다. ​ 2. 부득이하게 몇 가지 중요한 기술과 회사를 누락했습니다. 이 글을 읽고 계신다면 산업 연구의 뉘앙스를 이해해 주시면 감사하겠습니다. ​ 마지막으로 보안 업계에 비교적 새내기인 제가 생각하는 업계에 대한 모델입니다. 이 모델은 저에게는 의미가 있지만 다른 분들에게는 그렇지 않을 수도 있습니다. ​ 저는 업계를 엣지 보안, 네트워크 보안, 보안 운영의 세 가지 영역으로 보고 있습니다. 엣지는 사용자와 그 사용자가 직접 사용하는 기술을 의미합니다. ...

목차 1. 기본 사항 2. 전자 설계 자동화 3. 명령어 세트 아키텍처 4. 제조 a. 프로세스 b. 파운드리 c. 제조 장비 5. 칩 시장 a. 논리 b. 메모리 c. 아날로그 6. 결론 ​ 면책 조항: 이는 투자 조언이 아니므로 투자하기 전에 직접 조사해야 합니다. ​ 소개 이 글을 쓰게 된 동기는 제 투자 철학의 두 가지 핵심 원칙에서 비롯되었습니다: ​ 1. 최고의 기업은 성장하는 산업에서 독점 또는 준독점적 역할을 하며 뛰어난 리더십을 발휘하는 기업입니다. 2. 저는 투자하는 기업의 기술을 깊이 이해하여 혁신이나 파괴적 혁신의 잠재력을 이해하고 싶습니다. ​ 일관되게 저는 반도체 회사가 첫 번째 기준에 부합한다고 생각합니다. 하지만 기술에 대한 이해가 부족해서 투자를 하지 않았습니다. ​ 이 글의 목표는 몇 가지입니다: ​ 1. 독자들에게 반도체 산업에 대한 기본적인 이해를 제공한다. 2. 미래를 합리적으로 예측할 수 있는 기업에 대한 투자 기회를 파악하기 위해. 3. 세계에서 가장 복잡한 산업을 조금 덜 어렵게 만드는 그래픽을 만들기 위해(친근한 글꼴을 사용하기 위해). ​ 시작하겠습니다: ​ 기본 사항 설계 vs 제조 기본적으로 반도체 산업은 크게 두 가지 부문으로 나눌 수 있습니다: 설계와 제조. ​ 반도체를 설계하지만 제조하지 않는 회사는 팹리스 회사로 간주됩니다. ​ 팹리스 업체에서 제공한 설계를 기반으로 제조만 하는 회사를 파운드리라고 합니다. ​ 반도체의 설계와 제조를 모두 수행하는 회사는 통합 장치 제조업체 또는 IDM입니다. ​ 설계 프로세스 반도체 설계는 매우 복잡합니다. Apple의 최첨단 칩에는 1,340억 개의 트랜지스터(칩의 구성 요소이자 전하를 전달할 수 있는 '게이트'인 트랜지스터)가 있습니다. ​ 설계 프로세스는 칩의 요구 사항을 파악하고, 칩의 로직 설계를 배치하고, 성능을 시뮬레이션하고, 오류를 테스트합니다. 이 과정은 칩이 완벽해질 때까지 반복됩니다. ​ 이 프로세스에 사용되는 소프트웨어를 전자 설계 자동화(EDA) 소프트웨어라고 합니다. ​ 설계가 완료되면 제조를 위해 파운드리로 보내집니다. ​ 아키텍처 프로세서를 설계하는 데 사용되는 기본 아키텍처에는 세 가지가 있습니다: Arm(최근 기업공개), x86(인텔에서 개발), RISC-V(오픈 소스 대안). ​ CPU는 이러한 아키텍처를 기반으로 구축된 메인 프로세서입니다. ​ 이러한 아키텍처는 칩의 하드웨어와 칩을 프로그래밍하는 데 사용되는 소프트웨어 사이에 다리를 제공합니다. x86은 Intel이 개발한 독점 IP입니다. AMD는 자체 x86 칩을 개발하기 위해 인텔의 제품을 리버스 엔지니어링했습니다. ​ Arm의 아키텍처는 다른 회사에 라이선스 아웃한 독점 IP입니다. ​ RISC-V는 RISC-V 국제 조직에 의해 개발되었으며 누구나 사용할 수 있도록 개방되어 있습니다. ​ 제조 공정 반도체 제조는 지구상에서 가장 복잡한 공정입니다. ​ 제조 공정의 중심에는 파운드리가 있으며, 대부분 대만에 있습니다. ​ 이러한 파운드리는 공정에서 다양한 도구를 사용하는데, 대부분 5개 회사에서 제조합니다: 어플라이드 머티어리얼즈, ASML, 도쿄 일렉트론, KLA 코퍼레이션, 램리서치입니다. ​ 기본적인 흐름은 이렇습니다: 이 과정을 완전히 이해하지 못해도 괜찮습니다. 이 과정을 처음부터 끝까지 완벽하게 이해하는 사람은 전 세계에 거의 없기 때문입니다. ​ 칩의 종류 칩에는 디지털 칩과 아날로그 칩의 두 가지 유형이 있습니다. 디지털 칩은 1 또는 0의 이진 값을 기반으로 하며, 아날로그 칩은 소리나 빛과 같은 연속적인 신호를 받습니다. ​ 디지털 칩은 더 복잡하며 우리가 익히 알고 있는 대부분의 칩을 구성합니다. 아날로그 칩은 버튼을 누르면 손전등이 켜지는 것과 같은 기본적인 기능을 처리합니다. ​ 디지털 칩 시장은 로직 칩과 메모리 칩의 두 가지 범주로 나눌 수 있습니다. ​ 그 외에도 애플리케이션별 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이, 시스템 온 칩 장치(SoC) 등 몇 가지 유형의 칩이 존재합니다. ​ 로직 칩: 로직 칩은 작업을 완료하기 위해 정보를 처리합니다. CPU와 GPU가 가장 일반적인 두 가지 예입니다. ​ 중앙 처리 장치(CPU): CPU는 작업을 수행하는 컴퓨터의 주요 칩입니다. 흔히 컴퓨터의 '두뇌'라고도 불립니다. CPU는 컴퓨터의 소프트웨어와 하드웨어에서 나오는 대부분의 명령을 처리합니다. 단일 CPU 프로세서는 한 번에 하나의 작업만 처리할 수 있다는 점에 유의하세요. ​ 그래픽 처리 장치(GPU): GPU는 병렬 처리 또는 한 번에 많은 작업을 실행하도록 설계된 칩입니다. 이는 컴퓨터가 한 번에 많은 데이터를 처리해야 하는 그래픽 처리에 적합합니다. 또한 AI는 복잡도가 낮은 대량의 계산을 동시에 수행해야 하기 때문에 AI에도 적합합니다. GPU는 CPU가 처리할 수 있는 복잡한 문제를 처리할 수 없지만, 소프트웨어는 이러한 문제를 GPU가 처리할 수 있는 조각으로 나눌 수 있습니다. ​ 여러분이 잘 알고 있는 대부분의 회사에서 로직 칩을 만드는데, 이는 기술의 '두뇌' 역할을 하기 때문입니다. ​ 메모리 칩: 메모리 칩은 데이터를 저장하도록 설계되었습니다. 메모리 칩에는 두 가지 유형이 있습니다: ​ DRAM: DRAM 칩은 '휘발성' 메모리 칩으로, 칩의 전원이 꺼지면 데이터가 손실됩니다. DRAM은 더 큰 저장 용량과 빠른 속도를 제공합니다. DRAM은 빠른 처리 속도가 필요할 때 사용됩니다. ​ 낸드: 낸드 칩은 전원이 꺼져도 저장된 데이터를 보존하는 비휘발성 메모리 칩입니다. NAND 칩은 데이터를 영구적으로 저장해야 할 때 사용됩니다. ​ 기타: 애플리케이션별 집적 회로(ASIC): ASIC은 한 가지 특정 목적을 위해 설계된 칩입니다. 예를 들어 Google의 칩(TPU)은 AI 가속기용으로 특별히 설계되었습니다. ​ 필드 프로그래머블 게이트 어레이: FPGA는 제조 후 재프로그래밍할 수 있는 칩입니다. ​ 시스템 온 칩 장치(SoC): SoC는 여러 종류의 칩을 하나의 칩에 여러 종류의 칩을 하나의 칩에 넣습니다. 예를 들어 다음은 Apple의 mac M2 SoC 다이어그램입니다: 전자 설계 자동화 EDA 도구는 기업이 칩을 파운드리로 보내기 전에 칩을 설계하는 데 사용하는 소프트웨어를 제공합니다. ​ 칩을 제조하기 전에 여러 설계 단계를 거쳐야 하며 각 단계마다 오류를 확인해야 합니다. 단 한 번의 설계 결함으로 인해 수백만 달러의 손실이 발생할 수 있습니다. 이러한 오류 확인 프로세스를 검증이라고 합니다. ​ 자체 칩을 설계하는 거의 모든 회사는 Synopsys 또는 Cadence Design Systems 또는 두 가지 모두를 사용합니다. ​ EDA 시장은 기업이 미리 설계된 칩을 판매하는 세미 설계 지적 재산권 시장과도 밀접하게 연관되어 있습니다. ​ IP는 고객의 칩 설계에 통합하기 위한 '드래그 앤 드롭' 블록 역할을 합니다. ​ 시장 개요 이 시장은 Synopsys, Cadence Design Systems, Siemens EDA(이전의 멘토 그래픽스)가 과점하고 있습니다. ​ 칩 설계의 복잡성이 증가함에 따라 시장은 더욱 집중화되고 있습니다. ​ 이 시장은 지난 12년 동안 9.6%의 연평균 성장률로 성장했으며, 최근 5년 동안은 12.2%의 연평균 성장률로 그 성장이 가속화되고 있습니다. ​ EDA 시장의 성장에는 두 가지 원동력이 있습니다: ​ 칩 복잡성 증가: 칩이 복잡해짐에 따라 설계 툴의 중요성이 더욱 커지고 있습니다. 칩 제조 비용이 증가하면서 결함을 발견하는 데 드는 비용이 더욱 커지고 있습니다. 이러한 칩의 설계와 검증은 완벽해야 합니다. 이러한 칩을 최적화하고 결함을 방지하는 데 AI의 역할이 점점 더 커지고 있습니다. ​ 복잡성이 커지면 더 많은 비용이 드는 고급 툴링이 필요합니다. ​ 그렇기 때문에 EDA 시장의 선두주자들도 반도체 복잡성을 따라잡기 위해 고군분투하고 있습니다. ​ 이는 1990년대부터 알려진 문제였지만, 그 요점은 다음과 같습니다: 반도체 복잡성은 설계 툴이 따라잡을 수 있는 속도보다 더 빠르게 증가하고 있습니다. 설계 툴의 복잡성은 검증 툴이 따라잡을 수 있는 속도보다 더 빠르게 증가하고 있습니다. ​ 이 때문에 EDA 시장이 지속적으로 통합되고 있습니다. 복잡성은 소규모 EDA 업체들을 밀어내고 있습니다. ​ 이 문제에 대해 자세히 알아보려면 아시아메트리의 동영상을 참조하세요. https://www.youtube.com/watch?v=rtaaOdGuMCc&t=798s 2. 증가하는 팹리스 기업 수 ​ 다음은 자체적으로 반도체를 설계하는 비칩 회사의 목록입니다: ​ Apple Amazon Google Microsoft Tesla IBM Meta Ford GM ​ 새로운 세대의 칩을 통해 효율성을 높이기가 어려워지면서 기업들은 자체 프로세스에 맞게 칩을 최적화하기 위해 자체 설계를 하고 있습니다. 또한 자체 공급망을 더 잘 제어할 수 있습니다. Apple의 M2 칩이 경쟁사 대비 우수한 성능을 발휘하면서 경쟁 우위가 분명해졌습니다. 아마존은 데이터 센터 칩을 통해 비용 효율성을...