[IT] 데이터 웨어하우스 입문서 from EricFlaningam

이 글의 구성은 다음과 같습니다: ​ 1. 클라우드가 중요한 이유 2. 클라우드의 역사 3. 클라우드 기술 개요 4. 클라우드 시장 개요 - 하이퍼스케일러 통계 및 클라우드 에코시스템 ​ 클라우드의 미래는 어떤 모습일까요? ​ 중요 고지 사항: 항상 그렇듯이 저는 업계 전문가가 아니라 이 분야를 연구하는 투자자라는 점을 분명히 하고 싶습니다. 저는 투자자에게 가치를 제공할 수 있는 사모 시장과 공개 시장 모두에서 기회를 찾고 있으며, 이 연구가 투자자들에게도 같은 가치를 제공할 수 있기를 바랍니다. 즉, 이 내용은 투자 조언이 아니며 해당 산업에 투자하기 위한 지침으로 사용해서는 안 됩니다. ​ 한 가지 더 발표할 것이 있습니다: 제가 최근 펠리시스 벤처스의 팀에 합류하게 되었다는 소식을 전하게 되어 기쁩니다. 이제부터는 시장과 기업을 본격적으로 연구하게 될 것입니다. 뉴스레터를 읽어주시는 분들께 감사드리며, 앞으로도 여러분을 위한 가치 창출을 계속할 수 있기를 바랍니다. 언제나 그렇듯이 LinkedIn에서 자유롭게 소통하세요. ​ 정기적인 프로그램으로 돌아가겠습니다. ​ 1. 클라우드에 대한 소개와 클라우드가 중요한 이유 클라우드는 한 회사가 다른 회사에 하드웨어를 인터넷을 통해 제공되는 소프트웨어로 임대하는 간단한 개념입니다. 기본 수준에서 클라우드 인프라는 컴퓨팅 파워, 스토리지, 네트워킹과 같은 컴퓨팅의 구성 요소를 가상화(하드웨어를 소프트웨어로 표현)합니다. 또한 클라우드 기업은 해당 소프트웨어에 대한 관리 수준을 높여줍니다. 클라우드 SaaS는 기업이 해당 소프트웨어에 대한 설정만 구성하고 도구를 사용하기만 하면 되는 가장 관리형 서비스를 제공합니다. 가치 사슬을 다음과 같이 시각화할 수 있습니다: 비즈니스 모델은 간단하므로 클라우드가 왜 그렇게 영향력이 있었는지 설명하는 것부터 시작하겠습니다. 클레이튼 크리스텐슨의 팬이라면 클라우드는 파괴적 혁신의 완벽한 예라고 할 수 있습니다. 파괴적 혁신의 핵심 개념은 새로운 기술에 기반한 것이 아니라 새로운 고객을 대상으로 더 저렴한 방식으로 제공되는 오래된 기술에 기반한다는 것입니다. 클라우드는 기존 산업(엔터프라이즈급 하드웨어 및 소프트웨어)을 가져와 해당 기술에 대한 진입 장벽을 낮춘 새로운 비즈니스 모델을 만들어 새로운 시장(주로 기술 스타트업)에 판매했습니다. ​ 클라우드의 중요성은 진입 장벽을 낮추는 데서 비롯되었습니다. 클라우드 이전에는 기업들은 컴퓨팅 성능에 대한 초기 비용이 높고 시간이 지남에 따라 유지보수 비용이 낮아졌습니다. 이러한 초기 비용이 낮아지면서 컴퓨팅 파워 시장이 크게 확대되었습니다. 이는 컴퓨팅 파워에 훨씬 더 효율적으로 액세스하고 소프트웨어를 구축할 수 있는 스타트업에서 가장 두드러지게 나타났습니다. 이러한 스타트업은 클라우드 제공업체에 퍼널 효과를 제공했습니다. 클라우드 소프트웨어가 수십억 달러의 수익을 창출하면서 하이퍼스케일러는 그 수익의 상당 부분을 가져갔습니다. 시간이 지나면서 기업들도 클라우드로 이동했습니다. AWS가 출시된 지 거의 20년이 지난 지금도 클라우드 마이그레이션의 롱테일은 계속되고 있습니다. ​ AWS는 클라우드의 초창기를 정의했지만, 많은 기업이 AWS의 성장 기반을 마련하는 데 도움을 주었습니다. ​ 2. 클라우드의 역사 클라우드의 역사를 초기 역사(AWS 이전의 모든 것), AWS의 부상, 클라우드 환경의 진화라는 세 부분으로 나누어 살펴보겠습니다. ​ 초기 역사(1960-2003년) ​ 하룻밤 사이에 이루어진 많은 성공과 마찬가지로, 클라우드도 오랜 역사를 거쳐 마침내 등장하게 된 기술입니다. '클라우드 컴퓨팅'이라는 용어가 처음 언급된 것은 1994년 General Magic에서였지만, 이 용어는 1996년 Compaq에서 컴퓨팅과 인터넷의 미래에 대한 내부 문서를 작성하면서 더 널리 알려지게 되었습니다. 당시에는 학계와 IBM과 같은 기업 10K에서 언급된 그리드 컴퓨팅이라는 용어가 더 널리 사용되었습니다. 그리드 컴퓨팅의 기본 개념은 "전체 인터넷을 컴퓨터로 바꾸는" 컴퓨팅 리소스의 공유 네트워크였습니다. ​ 그 이전(1961년)에 '인공 지능'이라는 용어를 만든 존 매카시는 언젠가 컴퓨팅이 유틸리티로 판매될 것이라고 제안했습니다. 1967년 IBM은 운영 체제를 가상화하여 여러 사용자가 하나의 컴퓨터를 사용할 수 있는 '타임셰어링'을 만들었습니다. 인터넷의 초기 버전인 ARPANET도 1969년에 발명되었습니다. ​ 이후 20년 동안 하드웨어와 소프트웨어는 계속 발전하여 데이터 센터를 개선했습니다. 1998년에 설립된 VMWare는 서버 가상화 분야의 선도 기업이 되었습니다. 1999년에 설립된 Salesforce는 인터넷 제공 소프트웨어의 선구자가 되었습니다. 같은 시기에 스타트업들은 인터넷을 통해 제공되는 컴퓨팅의 잠재력을 깨닫기 시작했습니다. ​ 1999년에 마크 안드레센과 벤 호로위츠는 "소프트웨어 인프라 서비스 제공업체"인 Loudcloud를 설립했습니다. Loudcloud는 2000년 상장하기 전까지 수억 달러의 벤처 자금을 조달했습니다. 하지만 데이터 센터 구축에 드는 막대한 비용과 클라우드에 대한 시장의 준비 부족으로 인해 2002년에는 호스팅 사업을 6,350만 달러에 매각했습니다. 비즈니스의 소프트웨어 부분은 유지한 채 2007년에 HP에 16억 달러에 매각했습니다. ​ 즉, 사람들은 클라우드가 등장하기 전부터 클라우드가 등장할 것이라는 사실을 알고 있었지만, 클라우드의 출현을 주도할 회사를 예측한 사람은 거의 없었습니다. ​ AWS의 부상 ​ AWS의 기원에 대한 많은 대중적인 의견은 "클라우드의 원래 아이디어는 남는 데이터 센터 용량을 임대하는 기업에서 나왔다"는 것입니다. 가장 유명한 사례로 클라우드의 출현을 들 수 있습니다. Amazon.com은 계절적 변동을 고려할 수 있는 충분한 용량을 구축해야 했습니다. 그래서 여분의 컴퓨팅 용량을 임대하기로 결정했고, 그 후로 나머지는 역사 속으로 사라졌습니다." 안타깝게도 이는 사실이 아닌 것 같습니다. AWS의 기원에 대한 훌륭한 기사를 여기에서 읽어보실 수 있습니다. ​ AWS의 실제 기원은 두 가지 문제에 대한 대응으로 시작되었습니다: ​ 1. 엔지니어들은 프로젝트에 필요한 기본 요소인 스토리지 시스템과 컴퓨팅 아키텍처를 구축하는 데 70%의 시간을 할애했습니다. ​ 엔지니어링 팀은 새로운 기능이 출시될 때마다 이 작업을 수행해야 했습니다. 베조스와 다른 관리자들은 이를 "차별화되지 않은 무거운 짐"이라고 부르기 시작했습니다. 이에 대해 회사는 "모든 팀이 신뢰할 수 있는 공유 인프라 계층을 구축하여 어느 팀도 스토리지, 컴퓨팅 또는 데이터베이스를 구축할 필요가 없도록 하자"고 생각하기 시작했습니다. ​ 2. 다른 회사들은 웹 페이지에 Amazon 제품 링크를 삽입하기를 원했습니다. ​ 예를 들어, 한 요리 웹사이트에서는 새 스탠드 믹서에 대한 링크를 삽입하고자 했습니다. 아마존은 이를 흔쾌히 받아들여 웹사이트에 삽입할 수 있는 코드를 보내주었습니다. 시간이 지남에 따라 Amazon은 확장 가능한 소프트웨어를 출시하여 누구나 자신의 사이트에 Amazon 기능을 통합할 수 있도록 했습니다. 놀랍게도 Amazon의 사용량 대부분은 내부 소프트웨어 엔지니어들이 사용했습니다. 간단히 말해, 엔지니어들은 API를 통해 소프트웨어 기능을 쉽게 통합할 수 있기를 원했습니다. ​ 2003년에 외부에 있는 한 팀에서 관리자들은 아마존 웹 서비스가 실제 비즈니스가 될 수 있다고 판단했습니다. AWS가 첫 번째 제품인 Amazon Simple Storage Service(S3)를 출시하는 데는 3년이 걸렸습니다. 5개월 후, Elastic Compute Cloud(EC2)가 출시되었습니다. ​ 클라우드 물결이 시작된 것입니다. ​ Fortune은 "이제 스타트업은 서버를 구입하고 데이터 센터를 구축하기 위해 수백만 달러를 모으는 대신 신용카드로 온라인에 접속하고 사용한 컴퓨팅 성능과 스토리지에 대해서만 월별 요금을 지불할 수 있게 되었습니다."라고 설명했습니다. 새 앱이 히트하면 필요한 모든 클라우드 서비스를 즉시 이용할 수 있었습니다. 앱이 실패하더라도 고물 장비가 쌓여 있는 방에 갇혀 있지 않아도 ...

이 입문서의 목표는 기술 분야의 주요 산업에 대한 기초적인 이해를 높이고, 각 산업의 주요 트렌드를 이해하며, 잠재적인 투자 기회를 파악하는 것입니다. ​ 이 입문서가 여러분에게도 비슷한 도움이 되길 바랍니다. ​ 저는 데이터센터에 대한 전문가가 아니라 이 분야를 연구하는 투자자일 뿐이라는 점을 미리 말씀드리고 싶습니다. ​ 이 글의 구성은 다음과 같습니다: ​ 목차 1. 데이터 센터 소개 2. 데이터 센터 시각화하기 3. 컴퓨팅 시장(CPU, GPU, ASIC) 4. 네트워킹 시장 5. 스토리지 시장 6. 기타 수혜자 7. 투자자를 위한 전망 ​ 데이터 센터 개요 오늘날 데이터 센터는 투자자를 위해 3가지 범주로 나눌 수 있습니다. 가장 기초적인 수준에서 반도체는 데이터센터의 대부분의 기술을 가능하게 합니다. 중간에는 컴퓨팅, 네트워킹, 스토리지로 나눌 수 있는 데이터센터 자체가 있고, 이러한 데이터센터가 서버에 패키지화되어 있습니다. 그 밑에는 전력 및 냉각 기술 등 데이터센터를 운영하는 데 필요한 기술과 데이터센터의 제3자 운영자가 있습니다. 마지막으로 클라우드 계층이 있는데, 이는 기술을 개발할 수 있는 추상화 계층을 제공합니다. ​ 여기서는 세미 가치 사슬에 대해 자세히 설명하지 않겠지만, 여기에서 입문서를 찾아보실 수 있습니다. 또한 세미 분석과 조작된 지식은 따라야 할 최고의 세미 출판물 중 두 가지입니다. ​ 이를 통해 데이터 센터를 분석하기 시작할 수 있습니다. ​ 데이터 센터 시각화 데이터 센터의 규모를 시각화하는 것이 가장 먼저 시작해야 할 일이라고 생각합니다. 다음은 데이터 센터가 어떻게 구조화되어 있는지에 대한 꽤 좋은 이미지입니다: 가장 큰 하이퍼스케일러 데이터센터 중 일부는 100만 평방피트(축구장 25개 크기)가 넘는 거대한 규모를 자랑하기도 합니다. 데이터 센터를 구축하는 데 필요한 인프라에는 토지, 건축, 변압기, 전력 관리 및 냉각 기술이 포함됩니다. ​ 젠슨 황은 이전에 데이터센터 비용의 약 50%가 이러한 인프라에 사용되고 나머지 50%는 컴퓨팅, 네트워킹, 스토리지에 사용된다고 추산한 바 있습니다. ​ 이 모든 장비는 컴퓨팅 및 스토리지 전력을 수용하는 서버에 전력을 공급하기 위한 것입니다. 다음은 Nvidia DGX A100 서버의 예시입니다: 이러한 서버는 다른 서버, 네트워킹 장비, 스토리지와 함께 랙에 저장됩니다. 그리고 데이터 센터에는 수백에서 수천 개의 랙이 있습니다: 수천 개의 빌딩에 해당하는 컴퓨터로 호스팅되는 기술 세계를 개발하는 것은 인간의 독창성을 보여주는 놀라운 증거입니다(하지만 본론으로 들어가겠습니다). ​ 데이터센터 업계의 시장을 세분화해 보겠습니다. ​ 1. 컴퓨팅 컴퓨팅 성능은 데이터 센터의 핵심입니다. ​ 컴퓨팅 기본 사항 컴퓨팅 성능은 서버에서 애플리케이션을 실행하는 데 필요한 처리 능력과 메모리를 의미합니다. 서버는 워크로드 유형에 따라 다양한 유형의 칩(일반적으로 CPU 또는 GPU)을 사용합니다. CPU는 컴퓨터의 중앙 프로세서로 복잡한 작업을 처리하는 데 능숙하며 소프트웨어의 주요 인터페이스 역할을 합니다. GPU는 병렬 처리에 탁월하여 많은 간단한 작업을 한 번에 완료합니다. 그렇기 때문에 그래픽 본연의 목적에 매우 적합하며, 많은 작은 계산으로 구성된 AI 워크로드에 적합하게 설계되었습니다. ​ 애플리케이션별 집적 회로 및 필드 프로그래머블 게이트 어레이와 같은 다른 유형의 칩도 사용되지만 사용 빈도는 훨씬 적습니다. ASIC은 Google의 AI 가속기 TPU와 같이 특정 워크로드를 위해 맞춤 제작된 칩입니다. 논리적으로 볼 때, 약간의 효율성 향상으로 하이퍼스케일러의 비용을 크게 절감할 수 있기 때문에 클라우드 데이터 센터에서 ASIC의 사용 빈도는 계속 높아질 것입니다. FPGA는 다양한 작업을 구현하도록 재구성할 수 있으며, 현재는 데이터센터에서 널리 사용되지는 않지만 미래에는 유망한 기술입니다. ​ CPU 시장 데이터센터 CPU 시장은 역사적으로 인텔이 주도해 왔으며 AMD가 그 뒤를 바짝 쫓고 있습니다. 이제 AMD는 암페어, 아마존, 엔비디아 등의 Arm 기반 CPU와 함께 더 많은 경쟁을 벌이고 있습니다. ​ CPU 시장에서는 두 가지 주요 트렌드가 나타나고 있습니다. ​ 1. AMD의 점유율 확대 첫째, AMD는 x86 프로세서에서 인텔의 점유율을 빼앗아가고 있습니다. 이는 대부분 Lisa Su의 리더십 덕분입니다. Lisa는 2014년에 취임했으며 지난 10년간의 성과는 믿을 수 없을 정도로 놀라웠습니다: EPYC 데이터센터 CPU 제품군은 계속해서 성공을 거두고 있으며, 최신 제품으로는 4세대 EPYC Genoa가 있습니다. ​ 한편 인텔은 비즈니스 혁신을 시도하고 있습니다. TSMC로부터 세계에서 가장 진보된 공정 노드 제조를 다시 탈환하고자 합니다. 인텔 파운드리 서비스를 구축하기 위한 대대적인 노력이 진행 중입니다. 이러한 노력의 미래는 불투명합니다. 인텔은 CPU 시장 점유율을 방어하고, 인텔 파운드리 서비스를 구축하며, GPU 시장 점유율을 차지하기 위해 매우 어려운 길을 걸어야 합니다. 반도체 컨설턴트인 제이 골드버그는 이렇게 말합니다, ​ "AMD는 중요한 모든 지표에서 인텔을 앞서고 있으며, 인텔이 제조 방식을 고치고 새로운 제조 방법을 찾지 않는 한 계속 그렇게 할 것입니다." ​ 저는 인텔과 AMD 중 어느 쪽이 더 나은 회사인지에 대해 논평할 생각은 없습니다. 하지만 이 비교는 기대치에 대한 흥미로운 교훈을 줍니다. 리사 수가 CEO로 취임했을 때 AMD의 기대치는 이보다 더 낮을 수 없었습니다. 역설적이게도 이는 투자의 리스크 프로필을 크게 개선합니다. ​ 2. 점유율을 높여가는 Arm 기반 서버 또 다른 트렌드는 Arm 기반 프로세서입니다. 수년 동안 Arm은 효율성으로 인해 스마트폰에 선호되는 아키텍처였습니다. 최근에는 이러한 추세가 데이터 센터에도 이어지고 있습니다. ​ 아마존이 이러한 움직임을 주도하고 있습니다. 아마존은 2018년에 처음으로 Graviton 프로세서를 출시했습니다. 그 이후로 데이터센터 CPU 출하량의 약 3~4%까지 성장했습니다. 신생 칩 업체 중 하나인 Ampere Computing도 상당한 시장 점유율을 확보하고 있습니다. 또한 Nvidia는 최근 최초의 데이터센터 CPU인 Grace 칩 라인을 출시했습니다. Microsoft와 같은 다른 회사들도 Arm 기반 CPU를 만들고 있습니다. ​ 이러한 추세는 인텔과 AMD 모두에게 불리하며 맞춤형 실리콘으로의 이동이 계속됨에 따라 계속 지켜봐야 합니다. ​ GPU 시장 GPU 시장은 현재 엔비디아가 주도하고 있습니다. 그들은 이를 유지하기 위해 공격적으로 투자하고 있습니다. 현재 데이터센터 GPU의 주요 경쟁자는 AMD의 MI300입니다. AMD는 현재 데이터센터 GPU가 2024년에 35억 달러의 수익을 창출할 것으로 예상하고 있습니다. 인텔도 데이터센터 GPU를 제공하고...

저는 기술 생태계에 대한 전체적인 그림을 제공하기 위해 기술 분야의 각 주요 산업에 대한 입문서를 작성하는 더 넓은 목표를 가지고 있습니다. 저는 사이버 보안 전문가가 아니라는 점을 분명히 말씀드리고 싶습니다. 이 글의 목표는 이러한 산업에 대해 '0에서 1까지' 이해하고 독자들에게도 같은 이해를 제공하는 것입니다. ​ 중요한 고지 사항: 사이버 보안 산업은 매우 세분화되어 있고 매우 복잡하며 저는 이 분야의 초보자라는 사실을 인정합니다. 보안과 관련된 더 많은 정보를 원하시면 Strategy of Security와 소프트웨어 분석가 뉴스레터를 참고하시기 바랍니다. ​ 이 글의 구성은 다음과 같습니다: ​ 사이버 보안 및 주요 개념 소개 사이버 보안의 간략한 역사 사이버 보안 환경 개요 보안 분야 엣지 보안 네트워크 보안 클라우드 보안 데이터 보안 인프라 보안 보안 운영 주요 플레이어의 위치 ​ 사이버 보안 기본 사항 사이버 보안의 핵심은 사이버 위협으로부터 개인 또는 회사의 리소스(데이터, 디지털 자산, 물리적 자산)를 보호하는 것입니다. 이러한 위협에는 멀웨어(소프트웨어 위협), 랜섬웨어(데이터를 잠그거나 암호화하는 멀웨어), DDoS 공격(시스템 과부하), 피싱(사용자를 속이기 위한 이메일/메시지 전송) 등이 포함됩니다. 이러한 위협은 디바이스, 소프트웨어, 물리적 인프라 또는 사용자 계정을 통해 유입될 수 있습니다. ​ 사이버 보안의 목표는 이러한 공격이 발생하지 않도록 방지하고(예방), 공격이 발생했을 때 이를 찾아내며(탐지), 위협이 확인된 후에는 이를 해결하는(대응) 것입니다. 이는 디바이스에서 네트워크, 클라우드 환경, 물리적 인프라에 이르기까지 기술 스택 전반에서 이루어져야 합니다. ​ 네트워크에 대한 기본적인 배경 지식 장치는 로컬 영역 네트워크(LAN)의 스위치에 로컬로 연결됩니다. 그런 다음 라우터가 다른 LAN에 연결하여 광역 네트워크(WAN)를 생성합니다. 그런 다음 인터넷 서비스 제공업체 및 클라우드에 연결됩니다. 이러한 네트워크는 가정, 사무실, 데이터 센터 등에 있을 수 있습니다. 전통적으로 사이버 보안은 성곽과 해자 구조였습니다. 라우터/스위치 수준의 소프트웨어/하드웨어 방화벽과 같은 기술을 사용하여 '보호된 네트워크'에 악의적인 공격자가 접근하지 못하도록 하는 것이 목표였습니다. ​ 이제 '제로 트러스트' 방법론은 어떤 디바이스나 네트워크도 안전하지 않다고 가정합니다. 기업은 "심층 방어" 방법을 사용하여 여러 계층의 방어 체계를 갖춥니다. 한 방어 계층(예: 방화벽)이 손상되면 위협이 보호된 리소스에 액세스하려면 다른 보안 조치(다른 방화벽, 암호화, 액세스 보안, 클라우드 보안, 소프트웨어 보안, 물리적 보안)에 직면해야 합니다. ​ 이러한 상황을 (높은 수준에서) 시각화하면 다음과 같은 적절한 정신적 모델을 얻을 수 있습니다: 이 그래픽의 핵심은 이러한 경계가 흑백이 아니라는 점입니다. 이러한 세그먼트 간에 데이터가 지속적으로 교환되기 때문에 안전한 환경을 조성하려면 긴밀하게 통합되어야 합니다. ​ 사이버 보안의 역사 사이버 보안을 근본적인 수준에서 이해하기 위해서는 업계의 역사를 살펴보는 것이 중요하다고 생각합니다. 사이버 보안은 지난 50년 동안 기술과 함께 발전해 왔습니다. 기술이 계속 발전함에 따라 해당 기술로 인한 위협도 함께 증가했습니다. 사이버 보안은 이러한 위협에 대한 해결책이었습니다. ​ 인터넷 이전 시대(1970년대) 네트워킹은 항상 보안과 밀접한 관련이 있었기 때문에 시작하기에 좋은 곳입니다. ARPANET은 초기 컴퓨터 네트워크 중 하나였습니다. 연구원 Rob Thomas는 "나는 크리퍼이니 잡을 수 있다면 나를 잡아라!"라는 메모를 남기고 컴퓨터에서 컴퓨터로 이동하는 Creeper라는 프로그램을 만들었습니다. 이것은 컴퓨터 바이러스가 어떻게 발전할 수 있는지를 보여주는 초기 사례 중 하나였습니다. 이메일의 발명가인 레이 톰린슨은 결국 크리퍼를 쫓아 삭제하는 리퍼라는 프로그램을 만들었습니다. 이것이 안티바이러스의 첫 번째 예입니다. ​ 이러한 초기 사례는 기술과 함께 사이버 보안이 어떻게 진화할 것인지에 대한 그림을 그려줍니다. 기술이 발명되고, 위협이 등장하고, 사이버 보안은 그 기술을 보호할 방법을 찾게 됩니다. 1980년대에는 업계에서 상용화가 시작되었습니다. ​ 초기 인터넷 시대(1980~1990년대) 1980년대는 사이버 보안 산업의 여명기였습니다. 1987년, 몇몇 회사에서 비슷한 시기에 최초의 상용 바이러스 백신이 출시되었습니다. 맥아피는 이러한 초기 기업 중 하나였으며 향후 수십 년 동안 경쟁 우위를 유지하게 됩니다. 1989년에는 DEC(Digital Equipment Corporation)에서 최초의 방화벽 중 하나가 등장하여 조직에 네트워크를 보호할 수 있는 방법을 제공했습니다. 하지만 네트워크를 완벽하게 보호하는 데 필요한 기술이 부족했습니다. 1993년, 초기 상태 저장 방화벽(방화벽을 통과하는 정보를 분석하는 데 그치지 않고 네트워크의 상태를 추적하고 모니터링하는 방화벽) 회사 중 하나인 Checkpoint Security가 설립되었습니다. ​ 인터넷이 널리 보급됨에 따라 관련 취약점이 더욱 명확해지면서 현대 인터넷 시대의 혁신으로 이어졌습니다. ​ 현대 인터넷 시대(2000년대~현재) 현대 사이버 보안 시대는 클라우드 이전과 클라우드 이후의 사이버 보안으로 구분할 수 있습니다. 닷컴 버블 이후 기술이 폭발적으로 발전함에 따라 새로운 기술마다 보안이 필요했습니다. ​ 2000년대 초, 현재 업계의 거물인 Fortinet(2000년 설립)과 Palo Alto Networks(2005년 설립)에서 차세대 방화벽을 출시했습니다. 이러한 방화벽은 애플리케이션이 네트워크를 통해 통신하는 방식에 대한 더 큰 통찰력을 제공하고 정보가 네트워크를 통과하는 방식에 대한 더 많은 제어 기능을 제공했습니다. 팔로알토의 이야기에 대한 자세한 내용은 이 기사를 참조하세요. ​ 기업 데이터의 양이 증가함에 따라 기업의 자산을 추적하고 보안 위협이 발생한 시점을 파악하기 위해 Splunk(2003년 설립)와 같은 도구가 인기를 얻게 되었습니다. ​ 클라우드는 소프트웨어 개발의 진입 장벽을 크게 낮춰 새로운 유형의 보안 회사를 탄생시켰습니다. 수백, 수천 개의 다른 클라우드 기반 소프트웨어 제공업체들 사이에서 2007년에 Zscaler, 2010년에 Datadog, 2011년에 Crowdstrike가 설립되었습니다. ID 및 액세스 관리 역시 2009년에 설립된 Okta와 함께 클라우드 시대에 더욱 발전했습니다. ​ 모바일 디바이스가 널리 보급되면서 엔드포인트 보안은 더 큰 우선순위가 되었습니다. 크라우드스트라이크는 2011년에 설립되었습니다. Gartner는 2013년에 엔드포인트 위협 탐지 및 대응이라는 용어를 처음 만들었습니다. ​ 그 후 10년 동안 새로운 클라우드 기반 보안 회사가 계속 설립되었습니다. 또한 팔로알토, 크라우드스트라이크와 같은 기업이 플랫폼으로 확장하면서 대형 기술 기업들이 보안 영역에 진출했습니다. ​ 사이버 보안의 원래 목표인 위협으로부터 사람과 조직의 기술 자산을 보호하는 것으로 돌아가 보겠습니다. 더 많은 데이터, 더 많은 도구, 더 많은 위협이 등장함에 따라 사이버 보안도 이에 발맞춰야 했습니다. 그 결과 오늘날에는 업계가 엄청나게 세분화되고 경쟁이 치열해졌으며 사이버 공격의 복잡성이 증가하고 있습니다. ​ 사이버 보안 환경 개요 보안 분야가 워낙 세분화되어 있기 때문에 이를 하나의 그래픽으로 단순화하기란 쉽지 않습니다. 두 가지를 양보해야 했습니다: ​ 1. 그래픽에 몇 가지 약어를 사용해야 했는데, 구체적인 기술을 다룰 때 철자를 설명하겠습니다. ​ 2. 부득이하게 몇 가지 중요한 기술과 회사를 누락했습니다. 이 글을 읽고 계신다면 산업 연구의 뉘앙스를 이해해 주시면 감사하겠습니다. ​ 마지막으로 보안 업계에 비교적 새내기인 제가 생각하는 업계에 대한 모델입니다. 이 모델은 저에게는 의미가 있지만 다른 분들에게는 그렇지 않을 수도 있습니다. ​ 저는 업계를 엣지 보안, 네트워크 보안, 보안 운영의 세 가지 영역으로 보고 있습니다. 엣지는 사용자와 그 사용자가 직접 사용하는 기술을 의미합니다. ...

목차 1. 기본 사항 2. 전자 설계 자동화 3. 명령어 세트 아키텍처 4. 제조 a. 프로세스 b. 파운드리 c. 제조 장비 5. 칩 시장 a. 논리 b. 메모리 c. 아날로그 6. 결론 ​ 면책 조항: 이는 투자 조언이 아니므로 투자하기 전에 직접 조사해야 합니다. ​ 소개 이 글을 쓰게 된 동기는 제 투자 철학의 두 가지 핵심 원칙에서 비롯되었습니다: ​ 1. 최고의 기업은 성장하는 산업에서 독점 또는 준독점적 역할을 하며 뛰어난 리더십을 발휘하는 기업입니다. 2. 저는 투자하는 기업의 기술을 깊이 이해하여 혁신이나 파괴적 혁신의 잠재력을 이해하고 싶습니다. ​ 일관되게 저는 반도체 회사가 첫 번째 기준에 부합한다고 생각합니다. 하지만 기술에 대한 이해가 부족해서 투자를 하지 않았습니다. ​ 이 글의 목표는 몇 가지입니다: ​ 1. 독자들에게 반도체 산업에 대한 기본적인 이해를 제공한다. 2. 미래를 합리적으로 예측할 수 있는 기업에 대한 투자 기회를 파악하기 위해. 3. 세계에서 가장 복잡한 산업을 조금 덜 어렵게 만드는 그래픽을 만들기 위해(친근한 글꼴을 사용하기 위해). ​ 시작하겠습니다: ​ 기본 사항 설계 vs 제조 기본적으로 반도체 산업은 크게 두 가지 부문으로 나눌 수 있습니다: 설계와 제조. ​ 반도체를 설계하지만 제조하지 않는 회사는 팹리스 회사로 간주됩니다. ​ 팹리스 업체에서 제공한 설계를 기반으로 제조만 하는 회사를 파운드리라고 합니다. ​ 반도체의 설계와 제조를 모두 수행하는 회사는 통합 장치 제조업체 또는 IDM입니다. ​ 설계 프로세스 반도체 설계는 매우 복잡합니다. Apple의 최첨단 칩에는 1,340억 개의 트랜지스터(칩의 구성 요소이자 전하를 전달할 수 있는 '게이트'인 트랜지스터)가 있습니다. ​ 설계 프로세스는 칩의 요구 사항을 파악하고, 칩의 로직 설계를 배치하고, 성능을 시뮬레이션하고, 오류를 테스트합니다. 이 과정은 칩이 완벽해질 때까지 반복됩니다. ​ 이 프로세스에 사용되는 소프트웨어를 전자 설계 자동화(EDA) 소프트웨어라고 합니다. ​ 설계가 완료되면 제조를 위해 파운드리로 보내집니다. ​ 아키텍처 프로세서를 설계하는 데 사용되는 기본 아키텍처에는 세 가지가 있습니다: Arm(최근 기업공개), x86(인텔에서 개발), RISC-V(오픈 소스 대안). ​ CPU는 이러한 아키텍처를 기반으로 구축된 메인 프로세서입니다. ​ 이러한 아키텍처는 칩의 하드웨어와 칩을 프로그래밍하는 데 사용되는 소프트웨어 사이에 다리를 제공합니다. x86은 Intel이 개발한 독점 IP입니다. AMD는 자체 x86 칩을 개발하기 위해 인텔의 제품을 리버스 엔지니어링했습니다. ​ Arm의 아키텍처는 다른 회사에 라이선스 아웃한 독점 IP입니다. ​ RISC-V는 RISC-V 국제 조직에 의해 개발되었으며 누구나 사용할 수 있도록 개방되어 있습니다. ​ 제조 공정 반도체 제조는 지구상에서 가장 복잡한 공정입니다. ​ 제조 공정의 중심에는 파운드리가 있으며, 대부분 대만에 있습니다. ​ 이러한 파운드리는 공정에서 다양한 도구를 사용하는데, 대부분 5개 회사에서 제조합니다: 어플라이드 머티어리얼즈, ASML, 도쿄 일렉트론, KLA 코퍼레이션, 램리서치입니다. ​ 기본적인 흐름은 이렇습니다: 이 과정을 완전히 이해하지 못해도 괜찮습니다. 이 과정을 처음부터 끝까지 완벽하게 이해하는 사람은 전 세계에 거의 없기 때문입니다. ​ 칩의 종류 칩에는 디지털 칩과 아날로그 칩의 두 가지 유형이 있습니다. 디지털 칩은 1 또는 0의 이진 값을 기반으로 하며, 아날로그 칩은 소리나 빛과 같은 연속적인 신호를 받습니다. ​ 디지털 칩은 더 복잡하며 우리가 익히 알고 있는 대부분의 칩을 구성합니다. 아날로그 칩은 버튼을 누르면 손전등이 켜지는 것과 같은 기본적인 기능을 처리합니다. ​ 디지털 칩 시장은 로직 칩과 메모리 칩의 두 가지 범주로 나눌 수 있습니다. ​ 그 외에도 애플리케이션별 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이, 시스템 온 칩 장치(SoC) 등 몇 가지 유형의 칩이 존재합니다. ​ 로직 칩: 로직 칩은 작업을 완료하기 위해 정보를 처리합니다. CPU와 GPU가 가장 일반적인 두 가지 예입니다. ​ 중앙 처리 장치(CPU): CPU는 작업을 수행하는 컴퓨터의 주요 칩입니다. 흔히 컴퓨터의 '두뇌'라고도 불립니다. CPU는 컴퓨터의 소프트웨어와 하드웨어에서 나오는 대부분의 명령을 처리합니다. 단일 CPU 프로세서는 한 번에 하나의 작업만 처리할 수 있다는 점에 유의하세요. ​ 그래픽 처리 장치(GPU): GPU는 병렬 처리 또는 한 번에 많은 작업을 실행하도록 설계된 칩입니다. 이는 컴퓨터가 한 번에 많은 데이터를 처리해야 하는 그래픽 처리에 적합합니다. 또한 AI는 복잡도가 낮은 대량의 계산을 동시에 수행해야 하기 때문에 AI에도 적합합니다. GPU는 CPU가 처리할 수 있는 복잡한 문제를 처리할 수 없지만, 소프트웨어는 이러한 문제를 GPU가 처리할 수 있는 조각으로 나눌 수 있습니다. ​ 여러분이 잘 알고 있는 대부분의 회사에서 로직 칩을 만드는데, 이는 기술의 '두뇌' 역할을 하기 때문입니다. ​ 메모리 칩: 메모리 칩은 데이터를 저장하도록 설계되었습니다. 메모리 칩에는 두 가지 유형이 있습니다: ​ DRAM: DRAM 칩은 '휘발성' 메모리 칩으로, 칩의 전원이 꺼지면 데이터가 손실됩니다. DRAM은 더 큰 저장 용량과 빠른 속도를 제공합니다. DRAM은 빠른 처리 속도가 필요할 때 사용됩니다. ​ 낸드: 낸드 칩은 전원이 꺼져도 저장된 데이터를 보존하는 비휘발성 메모리 칩입니다. NAND 칩은 데이터를 영구적으로 저장해야 할 때 사용됩니다. ​ 기타: 애플리케이션별 집적 회로(ASIC): ASIC은 한 가지 특정 목적을 위해 설계된 칩입니다. 예를 들어 Google의 칩(TPU)은 AI 가속기용으로 특별히 설계되었습니다. ​ 필드 프로그래머블 게이트 어레이: FPGA는 제조 후 재프로그래밍할 수 있는 칩입니다. ​ 시스템 온 칩 장치(SoC): SoC는 여러 종류의 칩을 하나의 칩에 여러 종류의 칩을 하나의 칩에 넣습니다. 예를 들어 다음은 Apple의 mac M2 SoC 다이어그램입니다: 전자 설계 자동화 EDA 도구는 기업이 칩을 파운드리로 보내기 전에 칩을 설계하는 데 사용하는 소프트웨어를 제공합니다. ​ 칩을 제조하기 전에 여러 설계 단계를 거쳐야 하며 각 단계마다 오류를 확인해야 합니다. 단 한 번의 설계 결함으로 인해 수백만 달러의 손실이 발생할 수 있습니다. 이러한 오류 확인 프로세스를 검증이라고 합니다. ​ 자체 칩을 설계하는 거의 모든 회사는 Synopsys 또는 Cadence Design Systems 또는 두 가지 모두를 사용합니다. ​ EDA 시장은 기업이 미리 설계된 칩을 판매하는 세미 설계 지적 재산권 시장과도 밀접하게 연관되어 있습니다. ​ IP는 고객의 칩 설계에 통합하기 위한 '드래그 앤 드롭' 블록 역할을 합니다. ​ 시장 개요 이 시장은 Synopsys, Cadence Design Systems, Siemens EDA(이전의 멘토 그래픽스)가 과점하고 있습니다. ​ 칩 설계의 복잡성이 증가함에 따라 시장은 더욱 집중화되고 있습니다. ​ 이 시장은 지난 12년 동안 9.6%의 연평균 성장률로 성장했으며, 최근 5년 동안은 12.2%의 연평균 성장률로 그 성장이 가속화되고 있습니다. ​ EDA 시장의 성장에는 두 가지 원동력이 있습니다: ​ 칩 복잡성 증가: 칩이 복잡해짐에 따라 설계 툴의 중요성이 더욱 커지고 있습니다. 칩 제조 비용이 증가하면서 결함을 발견하는 데 드는 비용이 더욱 커지고 있습니다. 이러한 칩의 설계와 검증은 완벽해야 합니다. 이러한 칩을 최적화하고 결함을 방지하는 데 AI의 역할이 점점 더 커지고 있습니다. ​ 복잡성이 커지면 더 많은 비용이 드는 고급 툴링이 필요합니다. ​ 그렇기 때문에 EDA 시장의 선두주자들도 반도체 복잡성을 따라잡기 위해 고군분투하고 있습니다. ​ 이는 1990년대부터 알려진 문제였지만, 그 요점은 다음과 같습니다: 반도체 복잡성은 설계 툴이 따라잡을 수 있는 속도보다 더 빠르게 증가하고 있습니다. 설계 툴의 복잡성은 검증 툴이 따라잡을 수 있는 속도보다 더 빠르게 증가하고 있습니다. ​ 이 때문에 EDA 시장이 지속적으로 통합되고 있습니다. 복잡성은 소규모 EDA 업체들을 밀어내고 있습니다. ​ 이 문제에 대해 자세히 알아보려면 아시아메트리의 동영상을 참조하세요. https://www.youtube.com/watch?v=rtaaOdGuMCc&t=798s 2. 증가하는 팹리스 기업 수 ​ 다음은 자체적으로 반도체를 설계하는 비칩 회사의 목록입니다: ​ Apple Amazon Google Microsoft Tesla IBM Meta Ford GM ​ 새로운 세대의 칩을 통해 효율성을 높이기가 어려워지면서 기업들은 자체 프로세스에 맞게 칩을 최적화하기 위해 자체 설계를 하고 있습니다. 또한 자체 공급망을 더 잘 제어할 수 있습니다. Apple의 M2 칩이 경쟁사 대비 우수한 성능을 발휘하면서 경쟁 우위가 분명해졌습니다. 아마존은 데이터 센터 칩을 통해 비용 효율성을...

이 글의 목표는 세 가지입니다: ​ 1. 최신 데이터 환경에 대한 개요를 제공합니다. 2. 이러한 환경에서 인기 있는 데이터 회사가 어디에 속하는지 이해합니다. 3. 독자가 가장 흥미를 느끼는 투자 기회를 더 깊이 파고들 수 있는 출발점을 제공합니다. ​ 한 가지 중요한 고지 사항을 말씀드리고 싶습니다. 데이터 산업은 엄청나게 세분화되어 있습니다. 수백 개의 데이터 틈새 시장에서 경쟁하는 데이터 회사가 1000개나 됩니다. 게다가 저는 데이터 전문가가 아니라 이 분야를 연구하는 투자자일 뿐입니다. 중요한 기업과 중요한 틈새 시장을 놓칠 수도 있습니다. 하지만 이 글의 목표는 데이터 산업에 대한 포괄적인 심층 분석이 아니라 이 분야를 단순화하는 것입니다. ​ 간결함을 위해 데이터 플랫폼의 역사, 현대 데이터 플랫폼의 모습, 데이터 생태계에서 중요한 기업(주로 공개 기업)의 세 가지 단계로 이 글을 구성했습니다. ​ 이 입문서를 활용하는 방법에 대한 참고 사항: 저는 이 입문서를 이 분야를 소개하고 주요 기술, 주요 플레이어, 생태계에서 이들의 위치를 이해하는 데 사용합니다. 그런 다음 특정 투자 방법론에 대한 잠재력을 바탕으로 기업을 더 자세히 살펴봅니다. 여러분도 비슷한 방식으로 사용하시기를 권장합니다. ​ 먼저 업계를 단순화한 이 이미지를 공유하면서 시작하겠습니다. 자세한 내용은 나중에 설명하겠습니다. 데이터 플랫폼의 역사 현대 기술의 많은 기원과 마찬가지로 엔터프라이즈 데이터 관리 분야도 IBM 연구실에서 시작되었습니다. 1970년, IBM의 한 연구원이 데이터 뱅크를 위한 관계형 모델을 이론화했습니다. IBM은 1974년 최초의 관계형 데이터베이스 관리 시스템(RDBMS)을 개발했고, 1976년 Multics 관계형 데이터 스토어라는 이름으로 처음 상업적으로 판매했습니다. 이 핵심 제품은 테이블 컬렉션의 데이터와 데이터를 조작할 수 있는 기능이라는 두 가지 기능을 제공했습니다. ​ IBM 시스템은 이후 SQL, DB2, Oracle로 발전했습니다. 오라클은 1979년 CIA를 첫 번째 주요 고객으로 삼아 개발되었습니다. 시간이 지나면서 오라클은 세계 최대의 데이터베이스 관리 회사가 될 때까지 오라클 데이터 생태계를 계속 발전시켰습니다. 80년대에는 SQL이 데이터 업계의 표준 언어가 되었고, 이는 오늘날까지도 그대로 유지되고 있습니다. ​ RDBMS는 보고 및 분석에 적합하지 않았기 때문에 80년대 후반에 데이터 웨어하우스가 (IBM 연구진에 의해) 발명되었습니다. 데이터 웨어하우스는 증가하는 데이터의 양을 활용하기 위한 비즈니스 분석을 용이하게 하도록 설계되었습니다. 온프레미스 데이터 웨어하우스는 스토리지 용량을 빠르게 초과하기 때문에 고객은 데이터센터 용량에 계속 투자해야 했습니다. 이로 인해 데이터 웨어하우스는 비용이 많이 드는 솔루션이 되었습니다. ​ 90년대에 데이터 업계는 IBM, Oracle, Microsoft가 3대 업체로 통합되는 시기를 보냈습니다. 시스템은 복잡하고, 온프레미스 방식이었으며, 비용이 많이 들었습니다. ​ 클라우드의 탄생 인터넷과 클라우드가 업계에 다시 활기를 불어넣었습니다. 2006년에 AWS가 출시되었습니다. ​ 클라우드는 소규모 기업들에게 데이터 웨어하우스와 빅 데이터 분석을 활용할 수 있는 기회를 제공했습니다. 이를 통해 기술 스타트업은 값비싼 데이터 센터를 구축하지 않고도 서비스 개발을 시작할 수 있는 길이 열렸습니다. 이는 궁극적으로 오늘날 수천 개의 SaaS 기업과 데이터 제품이 시장에 출시되는 계기가 되었습니다. ​ 비슷한 시기에 비정형 데이터를 수용하는 데이터베이스 관리 도구인 NoSQL 시스템이 발명되었습니다. MongoDB는 2007년에 설립되었습니다. ​ 데이터의 급격한 증가와 함께 Hadoop은 최초의 오픈 소스 빅 데이터 처리 도구로 등장했습니다. 많은 기업들이 처음으로 방대한 양의 비정형 데이터를 분석할 수 있게 되었습니다. 이로 인해 방대한 양의 데이터를 저장하는 저장소인 데이터 레이크가 등장했으며, 주로 Amazon S3 버킷에 저장되었습니다. ​ 그러나 Hadoop은 복잡하고 보안이 제한적이며 스트리밍을 지원하지 않았습니다. 이로 인해 2009년에 Apache Spark가 개발되었습니다. Spark는 사용하기 더 쉬웠고 데이터 스트리밍과 같은 기능을 지원했습니다. 아파치 스파크의 발명가들은 2013년에 데이터브릭스를 설립했습니다. ​ 2012년에는 스노우플레이크가 출시되었습니다. 스노우플레이크는 컴퓨팅과 스토리지의 분리라는 데이터 웨어하우징의 중요한 변화를 가져왔습니다. 컴퓨팅은 데이터를 변환하고 구성하는 데 필요한 컴퓨팅 성능을 의미합니다. 스토리지는 데이터를 실제로 저장하는 것을 말합니다. 이를 통해 조직은 비용과 성능을 크게 절감할 수 있었습니다. ​ 스노우플레이크와 데이터브릭스는 클라우드 시대를 대표하는 데이터 회사로 성장하게 됩니다. ​ 궁극적으로 기업들은 데이터 웨어하우스의 컴퓨팅 성능, NoSQL의 유연성, 클라우드의 탄력성을 모두 필요로 했습니다. ​ 그렇게 현대의 클라우드 데이터 에코시스템이 탄생했습니다. 최신 데이터 에코시스템 최신 데이터 생태계는 클라우드 기반 데이터 웨어하우스, 빅 데이터 처리, NoSQL과 같은 유연한 스토리지 시스템을 중심으로 합니다. 그런 다음 통합 가시성, 보안, 비즈니스 인텔리전스, 그리고 점점 더 증가하는 AI 워크로드와 같은 서비스가 핵심 스토리지 및 컴퓨팅 기능을 중심으로 생태계를 구성합니다. ​ 현대의 데이터 자산은 심하게 파편화되어 있습니다. 기업들은 데이터를 수집, 변환, 저장, 시각화, 보안 및 관리하기 위해 다양한 도구를 사용합니다. ​ 최신 데이터 리포지토리에 대한 인기 있는 비전은 데이터 레이크와 데이터 웨어하우스의 최고의 기능을 통합하는 아키텍처인 데이터 레이크하우스입니다. 스노우플레이크와 데이터브릭스도 이 비전을 달성하기 위해 노력하고 있습니다. ​ 최근 몇 년 동안 여러 가지 새로운 데이터 아키텍처가 등장하고 있습니다. 이들은 모두 수년 전 RDBMS에 대한 동일한 비전, 즉 자동화된 의사 결정을 가능하게 하는 통합 데이터 저장소를 추구합니다. ​ 이제 최신 데이터 에코시스템에 대해 자세히 알아보겠습니다. ​ 데이터 에코시스템 먼저 업계의 파편화로 인해 이 공간을 단순한 그래픽으로 단순화하기가 어렵다는 점을 말씀드리고 싶습니다. 예를 들어, 데이터 통합과 오케스트레이션은 제외되었지만 업계에서 중요한 부분입니다. 제 생각에는 업계를 제대로 단순화하기 위해서는 이러한 양보가 필요하다고 생각합니다. 업계에 대한 종합적인 시각을 보려면 Matt Turck의 전망에서 확인하세요. ​ 또 다른 중요한 면책 조항은 이러한 세그먼트 간의 경계가 모호하다는 것입니다. 수집과 처리는 서로 섞여 있습니다. 통합은 데이터 프로세스 전반에 걸쳐 진행됩니다. 보안, 통합 가시성, 거버넌스는 모두 데이터 관리를 위해 함께 작동합니다. 데이터 레이크, 웨어하우스, 데이터베이스 간에 데이터 저장소의 경계가 점점 더 모호해지고 있습니다. ​ 마지막으로, 이러한 기업 중 상당수는 프로세스의 여러 단계를 완료합니다. 예를 들어, Snowflake와 Databricks는 모두 준비, 저장, 데이터 관리, 애플리케이션에 걸쳐 서비스를 제공합니다. Datadog은 보안, 통합 가시성, 거버넌스를 제공합니다. 이 이미지는 업계를 단순화하기 위한 것으로, 각 단계에 있는 회사들을 모두 포괄적으로 보여주는 것은 아닙니다. ​ 이 이미지는 업계를 시각화하기 위한 정신적 모델입니다. 이 멘탈 모델에는 유연성을 발휘할 수 있는 여지가 있습니다. 1. 데이터 소개 오늘날 데이터는 다양한 형식으로 측정되고 소싱될 수 있습니다. 데이터의 핵심은 1과 0으로 저장됩니다. 반도체 수준에서는 이것이 메모리가 작동하는 방식입니다. 각 트랜지스터는 1 또는 0으로 표시되며, 한 단계 높은 수준에서는 데이터를 정수, 부동 소수점, 문자, 문자열, 배열 또는 날짜/시간으로 저장할 수 있습니다. 이 외에도 몇 가지가 더 있지만, 이것이 주요 데이터 유형입니다. ​ 모든 정형 데이터의 핵심은 이러한 형식에 있습니다. SQL 데이터베이스와 같은 정형 데이터에는 미리 정의된 데이터 유형이 있습니다. 예를 들어 열은 정수로 미리 정의되어 있습니다. 이러한 열에는 정수 데이터 유형만 저장할 수 있습니다. ​ 비정형 데이터는 미리 정의된 구조 없이 저장된 데이터입니다. 여기에는 텍스트, 이미지나 동영상과 같은 BLOB 데이터, 바이너리 형식의 원시 데이터 또는 비정형 데이터를 표현하는 언어인 XML이 포함됩니다. 비정형 데이터는 생성되는 데이터의 80~90%를 차지하며 그 수는 계속 증가하고 있습니다. 마지막으로 반정형 데이터는 미리 정의된 데이터 모델이 없지만 데이터 객체와 배열을 정의하기 위한 몇 가지 규칙을 가지고 있습니다. JSON은 가장 일반적인 반정형 데이터 형식입니다. ​ 2. 소스 및 준비 생성되는 데이터의 종류가 다양하기 때문에 데이터 소스도 다양합니다. 일반적인 데이터 소스에는 엔터프라이즈 앱, 엑셀 시트, SQL 데이터베이스, 웹 페이지, API 및 IoT 센서가 포함됩니다. 그런 다음 해당 데이터를 스토리지로 가져와야 합니다. ​ 수집은 프로세스의 첫 번째 단계로, 다양한 소스의 데이터를 데이터 플랫폼으로 가져올 수 있습니다. 수집에는 배치와 스트리밍의 두 가지 유형이 있습니다. 일괄 수집은 주기적으로 데이터를 수집하여 스토리지에 로드합니다. 스트리밍은 실시간 처리로, 데이터가 생성되는 즉시 로드합니다. 널리 사용되는 도구로는 Confluent, Apache Kafka, Fivetran, StreamSets 등이 있습니다. ​ 그런 다음 데이터를 스토리지 형식으로 변환하는 등의 처리가 이루어집니다. Dbt는 변환을 위한 인기 있는 도구입니다. 데이터브릭은 수집과 처리를 모두 수행할 수 있으며 빅 데이터 처리에 특화되어 있습니다. ​ 여기서 ETL(추출-변환-로드)과 ELT(추출-로드-변환)의 중요한 개념이 떠오릅니다. 전통적으로 기업들은 비용을 절감하기 위해 데이터를 변환(컴퓨팅)한 다음 데이터 웨어하우스(스토리지)에 로드했습니다. 이제 클라우드 기반 데이터 웨어하우스와 레이크는 스토리지와 컴퓨팅을 분리하므로 스토리지 계층 내에서 비용 효율적으로 변환을 수행할 수 있습니다. ELT는 데이터 엔지니어가 특정 요구 사항에 따라 자유롭게 변환을 개발할 수 있도록 해줍니다. ​ 마지막으로, 데이터 통합은 실제로는 수명 주기 전반에 걸쳐 수행되지만 준비 범주에 포함시켰습니다. ​ 통합은 데이터를 통합된 형식으로 결합하는 프로세스입니다. 여기에는 변환도 포함될 수 있습니다. 오케스트레이션에는 데이터의 흐름을 예약, 관리 및 모니터링하는 프로세스를 둘러싼 다양한 도구가 포함됩니다. 데이터 파이프라인은 오케스트레이션의 하위 부문입니다. 파이프라인은 소스 간에 데이터가 전송되는 방식을 정의하며 수집, 변환, 분석이 포함될 수 있습니다. ​ 이 섹션의 용어 정의가 얼마나 복잡한지 이해하셨기를 바랍니다. 미묘한 차이가 있는 동일한 프로세스를 정의하기 위해 다양한 용어가 사용됩니다. ​ 이해해야 할 중요한 부분은 데이터를 저장하고 분석하기 전에 데이터를 정리하고 변환해야 한다는 것입니다. ​ 3. 스토리지 스토리지는 현대 데이터 자산의 중심에 있습니다. 각광을 받고 있는 대부분의 기업들: 스노우플레이크, 몽고DB, 데이터브릭스, Azure, AWS, GCP 등은 데이터 전략의 기둥으로 삼고 이를 둘러싼 에코시스템을 갖추고 있습니다. ​ 처리 후 데이터의 흐름은 특정 기업의 아키텍처에 따라 달라집니다. 널리 사용되는 아키텍처는 모든 데이터를 데이터 레이크에 저장하는 것입니다. 이는 정리되지 않은 데이터의 저장소로, 대부분 AWS, Azure 또는 GCP의 클라우드 스토리지에 저장됩니다. 그런 다음 데이터가 변환되어 일반적으로 트랜잭션 작업에 사용되는 특정 데이터베이스에 추가됩니다. 마지막으로, 이러한 모든 데이터베이스는 데이터 웨어하우스​에서 관리되며, 일반적으로 비즈니스 인텔리전스를 보다 효율적으로 만드는 데 사용됩니다. ​ 데이터 웨어하우스/레이크하우스: 데이터 웨어하우스는 최신 데이터 자산의 중심입니다. 데이터 관리를 위한 중앙 저장소라고 생각하면 됩니다. 원시 데이터는 데이터 웨어하우스에서 정리할 수 있는 형태로 변환됩니다. 그런 다음 데이터 웨어하우스에서 데이터를 가져와 AI/ML 워크플로우, 비즈니스 인텔리전스 및 웹사이트와 같은 고객 대면 애플리케이션에 사용합니다. ​ 데이터 웨어하우스는 온프레미스 또는 클라우드에 구축할 수 있습니다. 클라우드 기반 데이터 웨어하우징은 세계에서 가장 뜨거운 시장 중 하나입니다. 주요 업체는 크게 5곳입니다: Snowflake, 데이터브릭스, 구글 빅쿼리, 아마존 레드시프트, 마이크로소프트 시냅스*(시냅스는 마이크로소프트의 데이터 웨어하우스이지만, 마이크로소프트는 패브릭을 주요 제품으로 삼고 있습니다). ​ 전통적으로 데이터 레이크는 모든 유형의 데이터를 저장하는 반면, 데이터 웨어하우스는 정형 데이터만 저장합니다. 그러나 데이터 웨어하우스가 비정형 데이터에 대한 지원을 제공함에 따라 그 경계가 모호해지고 있습니다. 이로 인해 데이터 레이크하우스는 데이터브릭스에서 활발하게 판매되고 있습니다. 레이크하우스의 비전은 데이터베이스와 데이터 웨어하우스의 필요성을 없애는 것입니다. 데이터 레이크에 데이터를 '간단하게' 저장하고 불필요한 중간 단계를 많이 없앨 수 있습니다. 이러한 비전을 달성할 수 있는 기업은 거의 없습니다. ​ 관계형 데이터베이스: 관계형 데이터베이스 또는 SQL 데이터베이스는 가장 일반적인 유형의 데이터베이스입니다. 구조화된 데이터로 구성된 테이블 모음으로, 공통 변수로 연관되어 있습니다. ​ Oracle은 세계에서 가장 큰 관계형 데이터베이스 관리 시스템(RDBMS)입니다. 그다음으로 MySQL, Microsoft SQL Server, PostgreSQL(오픈 소스 대안)이 그 뒤를 잇고 있습니다. ​ 비관계형 데이터베이스: 또는 비관계형 데이터베이스 또는 NoSQL 데이터베이스는 데이터가 서로 관련이 없는 데이터베이스입니다. ​ NoSQL 데이터베이스는 주로 센서 데이터, 웹 로그, 미디어, 오디오 등과 같은 비정형 데이터를 저장합니다. ​ NoSQL 데이터베이스에는 키-값, 문서, 와이드 컬럼, 그래프 데이터베이스의 네 가지 주요 유형이 있습니다. ​ 가장 많이 사용되는 것은 문서 데이터베이스인 MongoDB입니다. 데이터는 키와 값이라는 두 가지 변수와 함께 JSON 파일(반정형)에 저장됩니다. ​ 데이터 레이크: 앞서 언급했듯이 데이터 레이크는 회사의 모든 데이터를 저장하는 곳입니다. 이는 일반적으로 비정형 데이터이며 클라우드 객체 스토리지에 저장됩니다. 가장 일반적인 것은 단순 스토리지 서비스인 Amazon S3입니다. Microsoft에는 BLOB 스토리지가 있고, GCP에는 Google 클라우드 스토리지가 있습니다. ​ 데이터 레이크가 필요한 데이터의 유일한 소스가 되는 것이 비전이지만, 가까운 미래에 이러한 비전이 실현될 수 있을지는 회의적입니다. ​ 4. 애플리케이션 이 섹션에서는 애플리케이션을 데이터의 모든 사용 사례로 간주합니다. 각 사용 사례마다 고유한 섹션이 될 수 있으므로 여기서는 많은 시간을 할애하지 않겠습니다. ...