[IT] 데이터 센터 입문서 from EricFlaningam

저는 기술 생태계에 대한 전체적인 그림을 제공하기 위해 기술 분야의 각 주요 산업에 대한 입문서를 작성하는 더 넓은 목표를 가지고 있습니다. 저는 사이버 보안 전문가가 아니라는 점을 분명히 말씀드리고 싶습니다. 이 글의 목표는 이러한 산업에 대해 '0에서 1까지' 이해하고 독자들에게도 같은 이해를 제공하는 것입니다. ​ 중요한 고지 사항: 사이버 보안 산업은 매우 세분화되어 있고 매우 복잡하며 저는 이 분야의 초보자라는 사실을 인정합니다. 보안과 관련된 더 많은 정보를 원하시면 Strategy of Security와 소프트웨어 분석가 뉴스레터를 참고하시기 바랍니다. ​ 이 글의 구성은 다음과 같습니다: ​ 사이버 보안 및 주요 개념 소개 사이버 보안의 간략한 역사 사이버 보안 환경 개요 보안 분야 엣지 보안 네트워크 보안 클라우드 보안 데이터 보안 인프라 보안 보안 운영 주요 플레이어의 위치 ​ 사이버 보안 기본 사항 사이버 보안의 핵심은 사이버 위협으로부터 개인 또는 회사의 리소스(데이터, 디지털 자산, 물리적 자산)를 보호하는 것입니다. 이러한 위협에는 멀웨어(소프트웨어 위협), 랜섬웨어(데이터를 잠그거나 암호화하는 멀웨어), DDoS 공격(시스템 과부하), 피싱(사용자를 속이기 위한 이메일/메시지 전송) 등이 포함됩니다. 이러한 위협은 디바이스, 소프트웨어, 물리적 인프라 또는 사용자 계정을 통해 유입될 수 있습니다. ​ 사이버 보안의 목표는 이러한 공격이 발생하지 않도록 방지하고(예방), 공격이 발생했을 때 이를 찾아내며(탐지), 위협이 확인된 후에는 이를 해결하는(대응) 것입니다. 이는 디바이스에서 네트워크, 클라우드 환경, 물리적 인프라에 이르기까지 기술 스택 전반에서 이루어져야 합니다. ​ 네트워크에 대한 기본적인 배경 지식 장치는 로컬 영역 네트워크(LAN)의 스위치에 로컬로 연결됩니다. 그런 다음 라우터가 다른 LAN에 연결하여 광역 네트워크(WAN)를 생성합니다. 그런 다음 인터넷 서비스 제공업체 및 클라우드에 연결됩니다. 이러한 네트워크는 가정, 사무실, 데이터 센터 등에 있을 수 있습니다. 전통적으로 사이버 보안은 성곽과 해자 구조였습니다. 라우터/스위치 수준의 소프트웨어/하드웨어 방화벽과 같은 기술을 사용하여 '보호된 네트워크'에 악의적인 공격자가 접근하지 못하도록 하는 것이 목표였습니다. ​ 이제 '제로 트러스트' 방법론은 어떤 디바이스나 네트워크도 안전하지 않다고 가정합니다. 기업은 "심층 방어" 방법을 사용하여 여러 계층의 방어 체계를 갖춥니다. 한 방어 계층(예: 방화벽)이 손상되면 위협이 보호된 리소스에 액세스하려면 다른 보안 조치(다른 방화벽, 암호화, 액세스 보안, 클라우드 보안, 소프트웨어 보안, 물리적 보안)에 직면해야 합니다. ​ 이러한 상황을 (높은 수준에서) 시각화하면 다음과 같은 적절한 정신적 모델을 얻을 수 있습니다: 이 그래픽의 핵심은 이러한 경계가 흑백이 아니라는 점입니다. 이러한 세그먼트 간에 데이터가 지속적으로 교환되기 때문에 안전한 환경을 조성하려면 긴밀하게 통합되어야 합니다. ​ 사이버 보안의 역사 사이버 보안을 근본적인 수준에서 이해하기 위해서는 업계의 역사를 살펴보는 것이 중요하다고 생각합니다. 사이버 보안은 지난 50년 동안 기술과 함께 발전해 왔습니다. 기술이 계속 발전함에 따라 해당 기술로 인한 위협도 함께 증가했습니다. 사이버 보안은 이러한 위협에 대한 해결책이었습니다. ​ 인터넷 이전 시대(1970년대) 네트워킹은 항상 보안과 밀접한 관련이 있었기 때문에 시작하기에 좋은 곳입니다. ARPANET은 초기 컴퓨터 네트워크 중 하나였습니다. 연구원 Rob Thomas는 "나는 크리퍼이니 잡을 수 있다면 나를 잡아라!"라는 메모를 남기고 컴퓨터에서 컴퓨터로 이동하는 Creeper라는 프로그램을 만들었습니다. 이것은 컴퓨터 바이러스가 어떻게 발전할 수 있는지를 보여주는 초기 사례 중 하나였습니다. 이메일의 발명가인 레이 톰린슨은 결국 크리퍼를 쫓아 삭제하는 리퍼라는 프로그램을 만들었습니다. 이것이 안티바이러스의 첫 번째 예입니다. ​ 이러한 초기 사례는 기술과 함께 사이버 보안이 어떻게 진화할 것인지에 대한 그림을 그려줍니다. 기술이 발명되고, 위협이 등장하고, 사이버 보안은 그 기술을 보호할 방법을 찾게 됩니다. 1980년대에는 업계에서 상용화가 시작되었습니다. ​ 초기 인터넷 시대(1980~1990년대) 1980년대는 사이버 보안 산업의 여명기였습니다. 1987년, 몇몇 회사에서 비슷한 시기에 최초의 상용 바이러스 백신이 출시되었습니다. 맥아피는 이러한 초기 기업 중 하나였으며 향후 수십 년 동안 경쟁 우위를 유지하게 됩니다. 1989년에는 DEC(Digital Equipment Corporation)에서 최초의 방화벽 중 하나가 등장하여 조직에 네트워크를 보호할 수 있는 방법을 제공했습니다. 하지만 네트워크를 완벽하게 보호하는 데 필요한 기술이 부족했습니다. 1993년, 초기 상태 저장 방화벽(방화벽을 통과하는 정보를 분석하는 데 그치지 않고 네트워크의 상태를 추적하고 모니터링하는 방화벽) 회사 중 하나인 Checkpoint Security가 설립되었습니다. ​ 인터넷이 널리 보급됨에 따라 관련 취약점이 더욱 명확해지면서 현대 인터넷 시대의 혁신으로 이어졌습니다. ​ 현대 인터넷 시대(2000년대~현재) 현대 사이버 보안 시대는 클라우드 이전과 클라우드 이후의 사이버 보안으로 구분할 수 있습니다. 닷컴 버블 이후 기술이 폭발적으로 발전함에 따라 새로운 기술마다 보안이 필요했습니다. ​ 2000년대 초, 현재 업계의 거물인 Fortinet(2000년 설립)과 Palo Alto Networks(2005년 설립)에서 차세대 방화벽을 출시했습니다. 이러한 방화벽은 애플리케이션이 네트워크를 통해 통신하는 방식에 대한 더 큰 통찰력을 제공하고 정보가 네트워크를 통과하는 방식에 대한 더 많은 제어 기능을 제공했습니다. 팔로알토의 이야기에 대한 자세한 내용은 이 기사를 참조하세요. ​ 기업 데이터의 양이 증가함에 따라 기업의 자산을 추적하고 보안 위협이 발생한 시점을 파악하기 위해 Splunk(2003년 설립)와 같은 도구가 인기를 얻게 되었습니다. ​ 클라우드는 소프트웨어 개발의 진입 장벽을 크게 낮춰 새로운 유형의 보안 회사를 탄생시켰습니다. 수백, 수천 개의 다른 클라우드 기반 소프트웨어 제공업체들 사이에서 2007년에 Zscaler, 2010년에 Datadog, 2011년에 Crowdstrike가 설립되었습니다. ID 및 액세스 관리 역시 2009년에 설립된 Okta와 함께 클라우드 시대에 더욱 발전했습니다. ​ 모바일 디바이스가 널리 보급되면서 엔드포인트 보안은 더 큰 우선순위가 되었습니다. 크라우드스트라이크는 2011년에 설립되었습니다. Gartner는 2013년에 엔드포인트 위협 탐지 및 대응이라는 용어를 처음 만들었습니다. ​ 그 후 10년 동안 새로운 클라우드 기반 보안 회사가 계속 설립되었습니다. 또한 팔로알토, 크라우드스트라이크와 같은 기업이 플랫폼으로 확장하면서 대형 기술 기업들이 보안 영역에 진출했습니다. ​ 사이버 보안의 원래 목표인 위협으로부터 사람과 조직의 기술 자산을 보호하는 것으로 돌아가 보겠습니다. 더 많은 데이터, 더 많은 도구, 더 많은 위협이 등장함에 따라 사이버 보안도 이에 발맞춰야 했습니다. 그 결과 오늘날에는 업계가 엄청나게 세분화되고 경쟁이 치열해졌으며 사이버 공격의 복잡성이 증가하고 있습니다. ​ 사이버 보안 환경 개요 보안 분야가 워낙 세분화되어 있기 때문에 이를 하나의 그래픽으로 단순화하기란 쉽지 않습니다. 두 가지를 양보해야 했습니다: ​ 1. 그래픽에 몇 가지 약어를 사용해야 했는데, 구체적인 기술을 다룰 때 철자를 설명하겠습니다. ​ 2. 부득이하게 몇 가지 중요한 기술과 회사를 누락했습니다. 이 글을 읽고 계신다면 산업 연구의 뉘앙스를 이해해 주시면 감사하겠습니다. ​ 마지막으로 보안 업계에 비교적 새내기인 제가 생각하는 업계에 대한 모델입니다. 이 모델은 저에게는 의미가 있지만 다른 분들에게는 그렇지 않을 수도 있습니다. ​ 저는 업계를 엣지 보안, 네트워크 보안, 보안 운영의 세 가지 영역으로 보고 있습니다. 엣지는 사용자와 그 사용자가 직접 사용하는 기술을 의미합니다. ...

목차 1. 기본 사항 2. 전자 설계 자동화 3. 명령어 세트 아키텍처 4. 제조 a. 프로세스 b. 파운드리 c. 제조 장비 5. 칩 시장 a. 논리 b. 메모리 c. 아날로그 6. 결론 ​ 면책 조항: 이는 투자 조언이 아니므로 투자하기 전에 직접 조사해야 합니다. ​ 소개 이 글을 쓰게 된 동기는 제 투자 철학의 두 가지 핵심 원칙에서 비롯되었습니다: ​ 1. 최고의 기업은 성장하는 산업에서 독점 또는 준독점적 역할을 하며 뛰어난 리더십을 발휘하는 기업입니다. 2. 저는 투자하는 기업의 기술을 깊이 이해하여 혁신이나 파괴적 혁신의 잠재력을 이해하고 싶습니다. ​ 일관되게 저는 반도체 회사가 첫 번째 기준에 부합한다고 생각합니다. 하지만 기술에 대한 이해가 부족해서 투자를 하지 않았습니다. ​ 이 글의 목표는 몇 가지입니다: ​ 1. 독자들에게 반도체 산업에 대한 기본적인 이해를 제공한다. 2. 미래를 합리적으로 예측할 수 있는 기업에 대한 투자 기회를 파악하기 위해. 3. 세계에서 가장 복잡한 산업을 조금 덜 어렵게 만드는 그래픽을 만들기 위해(친근한 글꼴을 사용하기 위해). ​ 시작하겠습니다: ​ 기본 사항 설계 vs 제조 기본적으로 반도체 산업은 크게 두 가지 부문으로 나눌 수 있습니다: 설계와 제조. ​ 반도체를 설계하지만 제조하지 않는 회사는 팹리스 회사로 간주됩니다. ​ 팹리스 업체에서 제공한 설계를 기반으로 제조만 하는 회사를 파운드리라고 합니다. ​ 반도체의 설계와 제조를 모두 수행하는 회사는 통합 장치 제조업체 또는 IDM입니다. ​ 설계 프로세스 반도체 설계는 매우 복잡합니다. Apple의 최첨단 칩에는 1,340억 개의 트랜지스터(칩의 구성 요소이자 전하를 전달할 수 있는 '게이트'인 트랜지스터)가 있습니다. ​ 설계 프로세스는 칩의 요구 사항을 파악하고, 칩의 로직 설계를 배치하고, 성능을 시뮬레이션하고, 오류를 테스트합니다. 이 과정은 칩이 완벽해질 때까지 반복됩니다. ​ 이 프로세스에 사용되는 소프트웨어를 전자 설계 자동화(EDA) 소프트웨어라고 합니다. ​ 설계가 완료되면 제조를 위해 파운드리로 보내집니다. ​ 아키텍처 프로세서를 설계하는 데 사용되는 기본 아키텍처에는 세 가지가 있습니다: Arm(최근 기업공개), x86(인텔에서 개발), RISC-V(오픈 소스 대안). ​ CPU는 이러한 아키텍처를 기반으로 구축된 메인 프로세서입니다. ​ 이러한 아키텍처는 칩의 하드웨어와 칩을 프로그래밍하는 데 사용되는 소프트웨어 사이에 다리를 제공합니다. x86은 Intel이 개발한 독점 IP입니다. AMD는 자체 x86 칩을 개발하기 위해 인텔의 제품을 리버스 엔지니어링했습니다. ​ Arm의 아키텍처는 다른 회사에 라이선스 아웃한 독점 IP입니다. ​ RISC-V는 RISC-V 국제 조직에 의해 개발되었으며 누구나 사용할 수 있도록 개방되어 있습니다. ​ 제조 공정 반도체 제조는 지구상에서 가장 복잡한 공정입니다. ​ 제조 공정의 중심에는 파운드리가 있으며, 대부분 대만에 있습니다. ​ 이러한 파운드리는 공정에서 다양한 도구를 사용하는데, 대부분 5개 회사에서 제조합니다: 어플라이드 머티어리얼즈, ASML, 도쿄 일렉트론, KLA 코퍼레이션, 램리서치입니다. ​ 기본적인 흐름은 이렇습니다: 이 과정을 완전히 이해하지 못해도 괜찮습니다. 이 과정을 처음부터 끝까지 완벽하게 이해하는 사람은 전 세계에 거의 없기 때문입니다. ​ 칩의 종류 칩에는 디지털 칩과 아날로그 칩의 두 가지 유형이 있습니다. 디지털 칩은 1 또는 0의 이진 값을 기반으로 하며, 아날로그 칩은 소리나 빛과 같은 연속적인 신호를 받습니다. ​ 디지털 칩은 더 복잡하며 우리가 익히 알고 있는 대부분의 칩을 구성합니다. 아날로그 칩은 버튼을 누르면 손전등이 켜지는 것과 같은 기본적인 기능을 처리합니다. ​ 디지털 칩 시장은 로직 칩과 메모리 칩의 두 가지 범주로 나눌 수 있습니다. ​ 그 외에도 애플리케이션별 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이, 시스템 온 칩 장치(SoC) 등 몇 가지 유형의 칩이 존재합니다. ​ 로직 칩: 로직 칩은 작업을 완료하기 위해 정보를 처리합니다. CPU와 GPU가 가장 일반적인 두 가지 예입니다. ​ 중앙 처리 장치(CPU): CPU는 작업을 수행하는 컴퓨터의 주요 칩입니다. 흔히 컴퓨터의 '두뇌'라고도 불립니다. CPU는 컴퓨터의 소프트웨어와 하드웨어에서 나오는 대부분의 명령을 처리합니다. 단일 CPU 프로세서는 한 번에 하나의 작업만 처리할 수 있다는 점에 유의하세요. ​ 그래픽 처리 장치(GPU): GPU는 병렬 처리 또는 한 번에 많은 작업을 실행하도록 설계된 칩입니다. 이는 컴퓨터가 한 번에 많은 데이터를 처리해야 하는 그래픽 처리에 적합합니다. 또한 AI는 복잡도가 낮은 대량의 계산을 동시에 수행해야 하기 때문에 AI에도 적합합니다. GPU는 CPU가 처리할 수 있는 복잡한 문제를 처리할 수 없지만, 소프트웨어는 이러한 문제를 GPU가 처리할 수 있는 조각으로 나눌 수 있습니다. ​ 여러분이 잘 알고 있는 대부분의 회사에서 로직 칩을 만드는데, 이는 기술의 '두뇌' 역할을 하기 때문입니다. ​ 메모리 칩: 메모리 칩은 데이터를 저장하도록 설계되었습니다. 메모리 칩에는 두 가지 유형이 있습니다: ​ DRAM: DRAM 칩은 '휘발성' 메모리 칩으로, 칩의 전원이 꺼지면 데이터가 손실됩니다. DRAM은 더 큰 저장 용량과 빠른 속도를 제공합니다. DRAM은 빠른 처리 속도가 필요할 때 사용됩니다. ​ 낸드: 낸드 칩은 전원이 꺼져도 저장된 데이터를 보존하는 비휘발성 메모리 칩입니다. NAND 칩은 데이터를 영구적으로 저장해야 할 때 사용됩니다. ​ 기타: 애플리케이션별 집적 회로(ASIC): ASIC은 한 가지 특정 목적을 위해 설계된 칩입니다. 예를 들어 Google의 칩(TPU)은 AI 가속기용으로 특별히 설계되었습니다. ​ 필드 프로그래머블 게이트 어레이: FPGA는 제조 후 재프로그래밍할 수 있는 칩입니다. ​ 시스템 온 칩 장치(SoC): SoC는 여러 종류의 칩을 하나의 칩에 여러 종류의 칩을 하나의 칩에 넣습니다. 예를 들어 다음은 Apple의 mac M2 SoC 다이어그램입니다: 전자 설계 자동화 EDA 도구는 기업이 칩을 파운드리로 보내기 전에 칩을 설계하는 데 사용하는 소프트웨어를 제공합니다. ​ 칩을 제조하기 전에 여러 설계 단계를 거쳐야 하며 각 단계마다 오류를 확인해야 합니다. 단 한 번의 설계 결함으로 인해 수백만 달러의 손실이 발생할 수 있습니다. 이러한 오류 확인 프로세스를 검증이라고 합니다. ​ 자체 칩을 설계하는 거의 모든 회사는 Synopsys 또는 Cadence Design Systems 또는 두 가지 모두를 사용합니다. ​ EDA 시장은 기업이 미리 설계된 칩을 판매하는 세미 설계 지적 재산권 시장과도 밀접하게 연관되어 있습니다. ​ IP는 고객의 칩 설계에 통합하기 위한 '드래그 앤 드롭' 블록 역할을 합니다. ​ 시장 개요 이 시장은 Synopsys, Cadence Design Systems, Siemens EDA(이전의 멘토 그래픽스)가 과점하고 있습니다. ​ 칩 설계의 복잡성이 증가함에 따라 시장은 더욱 집중화되고 있습니다. ​ 이 시장은 지난 12년 동안 9.6%의 연평균 성장률로 성장했으며, 최근 5년 동안은 12.2%의 연평균 성장률로 그 성장이 가속화되고 있습니다. ​ EDA 시장의 성장에는 두 가지 원동력이 있습니다: ​ 칩 복잡성 증가: 칩이 복잡해짐에 따라 설계 툴의 중요성이 더욱 커지고 있습니다. 칩 제조 비용이 증가하면서 결함을 발견하는 데 드는 비용이 더욱 커지고 있습니다. 이러한 칩의 설계와 검증은 완벽해야 합니다. 이러한 칩을 최적화하고 결함을 방지하는 데 AI의 역할이 점점 더 커지고 있습니다. ​ 복잡성이 커지면 더 많은 비용이 드는 고급 툴링이 필요합니다. ​ 그렇기 때문에 EDA 시장의 선두주자들도 반도체 복잡성을 따라잡기 위해 고군분투하고 있습니다. ​ 이는 1990년대부터 알려진 문제였지만, 그 요점은 다음과 같습니다: 반도체 복잡성은 설계 툴이 따라잡을 수 있는 속도보다 더 빠르게 증가하고 있습니다. 설계 툴의 복잡성은 검증 툴이 따라잡을 수 있는 속도보다 더 빠르게 증가하고 있습니다. ​ 이 때문에 EDA 시장이 지속적으로 통합되고 있습니다. 복잡성은 소규모 EDA 업체들을 밀어내고 있습니다. ​ 이 문제에 대해 자세히 알아보려면 아시아메트리의 동영상을 참조하세요. https://www.youtube.com/watch?v=rtaaOdGuMCc&t=798s 2. 증가하는 팹리스 기업 수 ​ 다음은 자체적으로 반도체를 설계하는 비칩 회사의 목록입니다: ​ Apple Amazon Google Microsoft Tesla IBM Meta Ford GM ​ 새로운 세대의 칩을 통해 효율성을 높이기가 어려워지면서 기업들은 자체 프로세스에 맞게 칩을 최적화하기 위해 자체 설계를 하고 있습니다. 또한 자체 공급망을 더 잘 제어할 수 있습니다. Apple의 M2 칩이 경쟁사 대비 우수한 성능을 발휘하면서 경쟁 우위가 분명해졌습니다. 아마존은 데이터 센터 칩을 통해 비용 효율성을...

이 글의 목표는 세 가지입니다: ​ 1. 최신 데이터 환경에 대한 개요를 제공합니다. 2. 이러한 환경에서 인기 있는 데이터 회사가 어디에 속하는지 이해합니다. 3. 독자가 가장 흥미를 느끼는 투자 기회를 더 깊이 파고들 수 있는 출발점을 제공합니다. ​ 한 가지 중요한 고지 사항을 말씀드리고 싶습니다. 데이터 산업은 엄청나게 세분화되어 있습니다. 수백 개의 데이터 틈새 시장에서 경쟁하는 데이터 회사가 1000개나 됩니다. 게다가 저는 데이터 전문가가 아니라 이 분야를 연구하는 투자자일 뿐입니다. 중요한 기업과 중요한 틈새 시장을 놓칠 수도 있습니다. 하지만 이 글의 목표는 데이터 산업에 대한 포괄적인 심층 분석이 아니라 이 분야를 단순화하는 것입니다. ​ 간결함을 위해 데이터 플랫폼의 역사, 현대 데이터 플랫폼의 모습, 데이터 생태계에서 중요한 기업(주로 공개 기업)의 세 가지 단계로 이 글을 구성했습니다. ​ 이 입문서를 활용하는 방법에 대한 참고 사항: 저는 이 입문서를 이 분야를 소개하고 주요 기술, 주요 플레이어, 생태계에서 이들의 위치를 이해하는 데 사용합니다. 그런 다음 특정 투자 방법론에 대한 잠재력을 바탕으로 기업을 더 자세히 살펴봅니다. 여러분도 비슷한 방식으로 사용하시기를 권장합니다. ​ 먼저 업계를 단순화한 이 이미지를 공유하면서 시작하겠습니다. 자세한 내용은 나중에 설명하겠습니다. 데이터 플랫폼의 역사 현대 기술의 많은 기원과 마찬가지로 엔터프라이즈 데이터 관리 분야도 IBM 연구실에서 시작되었습니다. 1970년, IBM의 한 연구원이 데이터 뱅크를 위한 관계형 모델을 이론화했습니다. IBM은 1974년 최초의 관계형 데이터베이스 관리 시스템(RDBMS)을 개발했고, 1976년 Multics 관계형 데이터 스토어라는 이름으로 처음 상업적으로 판매했습니다. 이 핵심 제품은 테이블 컬렉션의 데이터와 데이터를 조작할 수 있는 기능이라는 두 가지 기능을 제공했습니다. ​ IBM 시스템은 이후 SQL, DB2, Oracle로 발전했습니다. 오라클은 1979년 CIA를 첫 번째 주요 고객으로 삼아 개발되었습니다. 시간이 지나면서 오라클은 세계 최대의 데이터베이스 관리 회사가 될 때까지 오라클 데이터 생태계를 계속 발전시켰습니다. 80년대에는 SQL이 데이터 업계의 표준 언어가 되었고, 이는 오늘날까지도 그대로 유지되고 있습니다. ​ RDBMS는 보고 및 분석에 적합하지 않았기 때문에 80년대 후반에 데이터 웨어하우스가 (IBM 연구진에 의해) 발명되었습니다. 데이터 웨어하우스는 증가하는 데이터의 양을 활용하기 위한 비즈니스 분석을 용이하게 하도록 설계되었습니다. 온프레미스 데이터 웨어하우스는 스토리지 용량을 빠르게 초과하기 때문에 고객은 데이터센터 용량에 계속 투자해야 했습니다. 이로 인해 데이터 웨어하우스는 비용이 많이 드는 솔루션이 되었습니다. ​ 90년대에 데이터 업계는 IBM, Oracle, Microsoft가 3대 업체로 통합되는 시기를 보냈습니다. 시스템은 복잡하고, 온프레미스 방식이었으며, 비용이 많이 들었습니다. ​ 클라우드의 탄생 인터넷과 클라우드가 업계에 다시 활기를 불어넣었습니다. 2006년에 AWS가 출시되었습니다. ​ 클라우드는 소규모 기업들에게 데이터 웨어하우스와 빅 데이터 분석을 활용할 수 있는 기회를 제공했습니다. 이를 통해 기술 스타트업은 값비싼 데이터 센터를 구축하지 않고도 서비스 개발을 시작할 수 있는 길이 열렸습니다. 이는 궁극적으로 오늘날 수천 개의 SaaS 기업과 데이터 제품이 시장에 출시되는 계기가 되었습니다. ​ 비슷한 시기에 비정형 데이터를 수용하는 데이터베이스 관리 도구인 NoSQL 시스템이 발명되었습니다. MongoDB는 2007년에 설립되었습니다. ​ 데이터의 급격한 증가와 함께 Hadoop은 최초의 오픈 소스 빅 데이터 처리 도구로 등장했습니다. 많은 기업들이 처음으로 방대한 양의 비정형 데이터를 분석할 수 있게 되었습니다. 이로 인해 방대한 양의 데이터를 저장하는 저장소인 데이터 레이크가 등장했으며, 주로 Amazon S3 버킷에 저장되었습니다. ​ 그러나 Hadoop은 복잡하고 보안이 제한적이며 스트리밍을 지원하지 않았습니다. 이로 인해 2009년에 Apache Spark가 개발되었습니다. Spark는 사용하기 더 쉬웠고 데이터 스트리밍과 같은 기능을 지원했습니다. 아파치 스파크의 발명가들은 2013년에 데이터브릭스를 설립했습니다. ​ 2012년에는 스노우플레이크가 출시되었습니다. 스노우플레이크는 컴퓨팅과 스토리지의 분리라는 데이터 웨어하우징의 중요한 변화를 가져왔습니다. 컴퓨팅은 데이터를 변환하고 구성하는 데 필요한 컴퓨팅 성능을 의미합니다. 스토리지는 데이터를 실제로 저장하는 것을 말합니다. 이를 통해 조직은 비용과 성능을 크게 절감할 수 있었습니다. ​ 스노우플레이크와 데이터브릭스는 클라우드 시대를 대표하는 데이터 회사로 성장하게 됩니다. ​ 궁극적으로 기업들은 데이터 웨어하우스의 컴퓨팅 성능, NoSQL의 유연성, 클라우드의 탄력성을 모두 필요로 했습니다. ​ 그렇게 현대의 클라우드 데이터 에코시스템이 탄생했습니다. 최신 데이터 에코시스템 최신 데이터 생태계는 클라우드 기반 데이터 웨어하우스, 빅 데이터 처리, NoSQL과 같은 유연한 스토리지 시스템을 중심으로 합니다. 그런 다음 통합 가시성, 보안, 비즈니스 인텔리전스, 그리고 점점 더 증가하는 AI 워크로드와 같은 서비스가 핵심 스토리지 및 컴퓨팅 기능을 중심으로 생태계를 구성합니다. ​ 현대의 데이터 자산은 심하게 파편화되어 있습니다. 기업들은 데이터를 수집, 변환, 저장, 시각화, 보안 및 관리하기 위해 다양한 도구를 사용합니다. ​ 최신 데이터 리포지토리에 대한 인기 있는 비전은 데이터 레이크와 데이터 웨어하우스의 최고의 기능을 통합하는 아키텍처인 데이터 레이크하우스입니다. 스노우플레이크와 데이터브릭스도 이 비전을 달성하기 위해 노력하고 있습니다. ​ 최근 몇 년 동안 여러 가지 새로운 데이터 아키텍처가 등장하고 있습니다. 이들은 모두 수년 전 RDBMS에 대한 동일한 비전, 즉 자동화된 의사 결정을 가능하게 하는 통합 데이터 저장소를 추구합니다. ​ 이제 최신 데이터 에코시스템에 대해 자세히 알아보겠습니다. ​ 데이터 에코시스템 먼저 업계의 파편화로 인해 이 공간을 단순한 그래픽으로 단순화하기가 어렵다는 점을 말씀드리고 싶습니다. 예를 들어, 데이터 통합과 오케스트레이션은 제외되었지만 업계에서 중요한 부분입니다. 제 생각에는 업계를 제대로 단순화하기 위해서는 이러한 양보가 필요하다고 생각합니다. 업계에 대한 종합적인 시각을 보려면 Matt Turck의 전망에서 확인하세요. ​ 또 다른 중요한 면책 조항은 이러한 세그먼트 간의 경계가 모호하다는 것입니다. 수집과 처리는 서로 섞여 있습니다. 통합은 데이터 프로세스 전반에 걸쳐 진행됩니다. 보안, 통합 가시성, 거버넌스는 모두 데이터 관리를 위해 함께 작동합니다. 데이터 레이크, 웨어하우스, 데이터베이스 간에 데이터 저장소의 경계가 점점 더 모호해지고 있습니다. ​ 마지막으로, 이러한 기업 중 상당수는 프로세스의 여러 단계를 완료합니다. 예를 들어, Snowflake와 Databricks는 모두 준비, 저장, 데이터 관리, 애플리케이션에 걸쳐 서비스를 제공합니다. Datadog은 보안, 통합 가시성, 거버넌스를 제공합니다. 이 이미지는 업계를 단순화하기 위한 것으로, 각 단계에 있는 회사들을 모두 포괄적으로 보여주는 것은 아닙니다. ​ 이 이미지는 업계를 시각화하기 위한 정신적 모델입니다. 이 멘탈 모델에는 유연성을 발휘할 수 있는 여지가 있습니다. 1. 데이터 소개 오늘날 데이터는 다양한 형식으로 측정되고 소싱될 수 있습니다. 데이터의 핵심은 1과 0으로 저장됩니다. 반도체 수준에서는 이것이 메모리가 작동하는 방식입니다. 각 트랜지스터는 1 또는 0으로 표시되며, 한 단계 높은 수준에서는 데이터를 정수, 부동 소수점, 문자, 문자열, 배열 또는 날짜/시간으로 저장할 수 있습니다. 이 외에도 몇 가지가 더 있지만, 이것이 주요 데이터 유형입니다. ​ 모든 정형 데이터의 핵심은 이러한 형식에 있습니다. SQL 데이터베이스와 같은 정형 데이터에는 미리 정의된 데이터 유형이 있습니다. 예를 들어 열은 정수로 미리 정의되어 있습니다. 이러한 열에는 정수 데이터 유형만 저장할 수 있습니다. ​ 비정형 데이터는 미리 정의된 구조 없이 저장된 데이터입니다. 여기에는 텍스트, 이미지나 동영상과 같은 BLOB 데이터, 바이너리 형식의 원시 데이터 또는 비정형 데이터를 표현하는 언어인 XML이 포함됩니다. 비정형 데이터는 생성되는 데이터의 80~90%를 차지하며 그 수는 계속 증가하고 있습니다. 마지막으로 반정형 데이터는 미리 정의된 데이터 모델이 없지만 데이터 객체와 배열을 정의하기 위한 몇 가지 규칙을 가지고 있습니다. JSON은 가장 일반적인 반정형 데이터 형식입니다. ​ 2. 소스 및 준비 생성되는 데이터의 종류가 다양하기 때문에 데이터 소스도 다양합니다. 일반적인 데이터 소스에는 엔터프라이즈 앱, 엑셀 시트, SQL 데이터베이스, 웹 페이지, API 및 IoT 센서가 포함됩니다. 그런 다음 해당 데이터를 스토리지로 가져와야 합니다. ​ 수집은 프로세스의 첫 번째 단계로, 다양한 소스의 데이터를 데이터 플랫폼으로 가져올 수 있습니다. 수집에는 배치와 스트리밍의 두 가지 유형이 있습니다. 일괄 수집은 주기적으로 데이터를 수집하여 스토리지에 로드합니다. 스트리밍은 실시간 처리로, 데이터가 생성되는 즉시 로드합니다. 널리 사용되는 도구로는 Confluent, Apache Kafka, Fivetran, StreamSets 등이 있습니다. ​ 그런 다음 데이터를 스토리지 형식으로 변환하는 등의 처리가 이루어집니다. Dbt는 변환을 위한 인기 있는 도구입니다. 데이터브릭은 수집과 처리를 모두 수행할 수 있으며 빅 데이터 처리에 특화되어 있습니다. ​ 여기서 ETL(추출-변환-로드)과 ELT(추출-로드-변환)의 중요한 개념이 떠오릅니다. 전통적으로 기업들은 비용을 절감하기 위해 데이터를 변환(컴퓨팅)한 다음 데이터 웨어하우스(스토리지)에 로드했습니다. 이제 클라우드 기반 데이터 웨어하우스와 레이크는 스토리지와 컴퓨팅을 분리하므로 스토리지 계층 내에서 비용 효율적으로 변환을 수행할 수 있습니다. ELT는 데이터 엔지니어가 특정 요구 사항에 따라 자유롭게 변환을 개발할 수 있도록 해줍니다. ​ 마지막으로, 데이터 통합은 실제로는 수명 주기 전반에 걸쳐 수행되지만 준비 범주에 포함시켰습니다. ​ 통합은 데이터를 통합된 형식으로 결합하는 프로세스입니다. 여기에는 변환도 포함될 수 있습니다. 오케스트레이션에는 데이터의 흐름을 예약, 관리 및 모니터링하는 프로세스를 둘러싼 다양한 도구가 포함됩니다. 데이터 파이프라인은 오케스트레이션의 하위 부문입니다. 파이프라인은 소스 간에 데이터가 전송되는 방식을 정의하며 수집, 변환, 분석이 포함될 수 있습니다. ​ 이 섹션의 용어 정의가 얼마나 복잡한지 이해하셨기를 바랍니다. 미묘한 차이가 있는 동일한 프로세스를 정의하기 위해 다양한 용어가 사용됩니다. ​ 이해해야 할 중요한 부분은 데이터를 저장하고 분석하기 전에 데이터를 정리하고 변환해야 한다는 것입니다. ​ 3. 스토리지 스토리지는 현대 데이터 자산의 중심에 있습니다. 각광을 받고 있는 대부분의 기업들: 스노우플레이크, 몽고DB, 데이터브릭스, Azure, AWS, GCP 등은 데이터 전략의 기둥으로 삼고 이를 둘러싼 에코시스템을 갖추고 있습니다. ​ 처리 후 데이터의 흐름은 특정 기업의 아키텍처에 따라 달라집니다. 널리 사용되는 아키텍처는 모든 데이터를 데이터 레이크에 저장하는 것입니다. 이는 정리되지 않은 데이터의 저장소로, 대부분 AWS, Azure 또는 GCP의 클라우드 스토리지에 저장됩니다. 그런 다음 데이터가 변환되어 일반적으로 트랜잭션 작업에 사용되는 특정 데이터베이스에 추가됩니다. 마지막으로, 이러한 모든 데이터베이스는 데이터 웨어하우스​에서 관리되며, 일반적으로 비즈니스 인텔리전스를 보다 효율적으로 만드는 데 사용됩니다. ​ 데이터 웨어하우스/레이크하우스: 데이터 웨어하우스는 최신 데이터 자산의 중심입니다. 데이터 관리를 위한 중앙 저장소라고 생각하면 됩니다. 원시 데이터는 데이터 웨어하우스에서 정리할 수 있는 형태로 변환됩니다. 그런 다음 데이터 웨어하우스에서 데이터를 가져와 AI/ML 워크플로우, 비즈니스 인텔리전스 및 웹사이트와 같은 고객 대면 애플리케이션에 사용합니다. ​ 데이터 웨어하우스는 온프레미스 또는 클라우드에 구축할 수 있습니다. 클라우드 기반 데이터 웨어하우징은 세계에서 가장 뜨거운 시장 중 하나입니다. 주요 업체는 크게 5곳입니다: Snowflake, 데이터브릭스, 구글 빅쿼리, 아마존 레드시프트, 마이크로소프트 시냅스*(시냅스는 마이크로소프트의 데이터 웨어하우스이지만, 마이크로소프트는 패브릭을 주요 제품으로 삼고 있습니다). ​ 전통적으로 데이터 레이크는 모든 유형의 데이터를 저장하는 반면, 데이터 웨어하우스는 정형 데이터만 저장합니다. 그러나 데이터 웨어하우스가 비정형 데이터에 대한 지원을 제공함에 따라 그 경계가 모호해지고 있습니다. 이로 인해 데이터 레이크하우스는 데이터브릭스에서 활발하게 판매되고 있습니다. 레이크하우스의 비전은 데이터베이스와 데이터 웨어하우스의 필요성을 없애는 것입니다. 데이터 레이크에 데이터를 '간단하게' 저장하고 불필요한 중간 단계를 많이 없앨 수 있습니다. 이러한 비전을 달성할 수 있는 기업은 거의 없습니다. ​ 관계형 데이터베이스: 관계형 데이터베이스 또는 SQL 데이터베이스는 가장 일반적인 유형의 데이터베이스입니다. 구조화된 데이터로 구성된 테이블 모음으로, 공통 변수로 연관되어 있습니다. ​ Oracle은 세계에서 가장 큰 관계형 데이터베이스 관리 시스템(RDBMS)입니다. 그다음으로 MySQL, Microsoft SQL Server, PostgreSQL(오픈 소스 대안)이 그 뒤를 잇고 있습니다. ​ 비관계형 데이터베이스: 또는 비관계형 데이터베이스 또는 NoSQL 데이터베이스는 데이터가 서로 관련이 없는 데이터베이스입니다. ​ NoSQL 데이터베이스는 주로 센서 데이터, 웹 로그, 미디어, 오디오 등과 같은 비정형 데이터를 저장합니다. ​ NoSQL 데이터베이스에는 키-값, 문서, 와이드 컬럼, 그래프 데이터베이스의 네 가지 주요 유형이 있습니다. ​ 가장 많이 사용되는 것은 문서 데이터베이스인 MongoDB입니다. 데이터는 키와 값이라는 두 가지 변수와 함께 JSON 파일(반정형)에 저장됩니다. ​ 데이터 레이크: 앞서 언급했듯이 데이터 레이크는 회사의 모든 데이터를 저장하는 곳입니다. 이는 일반적으로 비정형 데이터이며 클라우드 객체 스토리지에 저장됩니다. 가장 일반적인 것은 단순 스토리지 서비스인 Amazon S3입니다. Microsoft에는 BLOB 스토리지가 있고, GCP에는 Google 클라우드 스토리지가 있습니다. ​ 데이터 레이크가 필요한 데이터의 유일한 소스가 되는 것이 비전이지만, 가까운 미래에 이러한 비전이 실현될 수 있을지는 회의적입니다. ​ 4. 애플리케이션 이 섹션에서는 애플리케이션을 데이터의 모든 사용 사례로 간주합니다. 각 사용 사례마다 고유한 섹션이 될 수 있으므로 여기서는 많은 시간을 할애하지 않겠습니다. ...

데이터베이스의 역사, 기술 및 시장 개요​데이터베이스는 지난 수십 년 동안 우리가 보아온 소프트웨어의 많은 움직임을 뒷받침해 왔습니다. 또한, 데이터베이스는 (적어도 SQL 데이터베이스의 경우) 여전히 원래 형태와 유사한 가장 오래 지속되는 기술 중 하나이기도 합니다. 데이터 플랫폼의 고유한 고착성과 애플리케이션과 AI의 미래를 지원할 수 있는 잠재력 때문에 데이터 영역이 제 관심을 끌었습니다.​이 글이 데이터 공간에 대한 저의 마지막 글(당분간)이 될 것입니다. 이 네 개의 포스팅을 합치면 데이터 산업에 대한 강력한 기초를 제공한다고 생각합니다:​1. 데이터 산업 입문서2. 데이터 웨어하우스에 대한 입문서3. 데이터 레이크하우스 입문서4. 데이터베이스 입문서​데이터 카탈로그와 데이터 수집/변환에 대한 초안을 가지고 있으며, 언젠가 다시 다룰 수도 있습니다. 하지만 데이터 산업 전체가 플랫폼으로 나아가고 있다고 생각하기 때문에 위의 글에서는 데이터 플랫폼의 대부분(전부는 아님)을 다루고 있습니다.​현재 제가 연구하는 분야는 세미캡, 에너지, 데이터 센터(다시 말하지만)입니다. 다음 글은 세미캡 산업에 관한 글이고, 그 다음에는 대형 세미캡 기업에 대한 개별 기업 분석이 이어질 것으로 예상합니다. 하지만 다시 데이터베이스로 돌아가겠습니다.​이 글의 내용은 다음과 같습니다:​1. 데이터베이스 및 관련성 소개2. 데이터베이스의 역사3. 데이터베이스 기술 개요4. 데이터베이스 시장 개요5. 데이터 환경에 대한 최종 생각​면책 조항: 항상 그렇듯이 저는 기술 전문가가 아니라 이 분야를 연구하는 투자자라는 점을 분명히 하고 싶습니다. 제 목표는 투자 기회를 찾기 위해 "바위를 뒤집어 보는" 것처럼 이해하기 쉽게 분석하고 단순화하는 것이며, 독자 여러분도 그렇게 하기를 권장합니다.​1. 데이터베이스 소개 및 투자자와의 관련성관계형 데이터베이스가 발명된 이래로 소프트웨어는 데이터베이스를 기반으로 구축되었습니다. 오늘날 대부분의 소프트웨어에는 데이터베이스, 프런트엔드, 데이터를 변환/정리하는 고유한 수단이 있습니다. 앞으로는 모든 소프트웨어가 프런트엔드 웹 인터페이스를 통해 액세스되지 않는 세상으로 나아갈 가능성이 있습니다. 일부 소프트웨어는 사용자를 대신해 작업을 실행하는 에이전트에게 명령을 통해 액세스하게 될 것입니다.​이러한 세상에서도 데이터베이스는 여전히 그 관련성을 유지합니다.​투자자의 관점에서 보면 데이터베이스 분야에서 30~40년 동안 리더십을 발휘해 온 Oracle, IBM, Microsoft와 같이 데이터베이스로 수십억 달러의 수익을 창출하는 기업들이 있습니다. 이 모든 것을 합치면 당분간 관련성을 유지할 수 있는 기술과 이 분야에서 지속적인 리더십을 보여준 기업의 역사가 있습니다. 또한 이러한 제품은 마진이 높고, 반복적인 수익 + 서비스를 제공하며, 고객의 전환 비용도 상당합니다. 흥미로운 비즈니스를 위한 레시피.​데이터베이스의 기술은 (높은 수준에서) 비교적 간단합니다. 데이터베이스는 정보를 빠르게 활용할 수 있는 형식으로 저장합니다. 두 가지 주요 사용 사례가 있습니다:​1. 트랜잭션 처리(OLTP): 애플리케이션을 위한 백엔드로 실시간 정보를 저장합니다.2. 분석(OLAP): 대량의 데이터를 저장하여 해당 데이터에서 인사이트를 찾기 위해 쿼리할 수 있도록 합니다.​데이터베이스 시장은 크게 오픈 소스 대 폐쇄 소스, SQL 대 NoSQL로 구분됩니다.​제 생각에 데이터베이스 시장은 롱테일 분포를 따르고 있습니다:소수의 데이터베이스가 대부분의 사용 사례를 지배하는 반면, 틈새 사용 사례를 위한 수백 개의 데이터베이스가 존재합니다. 데이터베이스 중에서 선택하는 것은 어떤 데이터베이스가 작업을 가장 잘 수행할 수 있는지를 결정하는 것이기 때문입니다. 따라서 PostgreSQL(또는 Oracle/MySQL 등 삽입)과 같이 널리 사용되는 데이터베이스는 대부분의 SQL 기반 프로젝트에 대한 요구 사항을 충족할 수 있습니다. 하지만 다른 데이터베이스보다 매우 특정한 작업을 더 잘 처리하는 20개의 특정 데이터베이스가 있을 수 있습니다. (제가 무슨 말을 하는지 보려면 데이터베이스 순위를 확인하세요.)​이로 인해 몇몇 대형 데이터베이스 회사와 특정 작업을 위한 틈새 데이터베이스의 롱테일이 형성됩니다. 데이터베이스는 데이터베이스의 롱테일이 존재하는 것을 정당화할 만큼 큰 시장입니다. 여기에서 몇 가지 분야와 회사를 볼 수 있습니다:소프트웨어 개발의 장벽이 낮아지면서 데이터베이스의 롱테일은 계속 확장되고 있습니다.​2. 데이터베이스의 역사데이터 공간의 역사는 이전 글에서 충분히 다루었기 때문에 이 섹션은 줄이도록 하겠습니다.​데이터베이스의 역사는 크게 SQL 데이터베이스의 부상, 비정형 데이터베이스/클라우드의 부상, 데이터베이스의 현대 시대로 나눌 수 있습니다.​1. SQL 데이터베이스의 발명.(아시아메트리의 동영상도 참고하세요.)https://youtu.be/z8L202FlmD4?si=cxt8htEjkpChDoeV최초의 데이터베이스는 1961년 GE에서 발명되었으며 데이터 모델, 설명 언어, 조작 언어(저장, 검색, 수정, 삭제)를 포함했습니다. 당시에는 소프트웨어가 하드웨어와 함께 번들로 제공되어 하드웨어와 상호 작용할 수 있도록 기본적으로 무료로 제공되었습니다.​에드가 토드는 1969년과 1970년에 두 개의 중요한 논문을 발표했는데, 후자의 논문은 데이터베이스의 정의적 논문 중 하나로 알려지게 되었습니다: ...

개인 텔레그램에 올렸던 자료인데, 신영증권 박소연 이사님이 올려서 화두이네요. 전문은 다음과 같습니다. AI 거품이 티핑 포인트에 도달하고 있습니다. 앞으로 다가올 미래를 예측하는 것이 필수적입니다. 2023년 9월, 저는 '인공지능의 2천억 달러 질문'을 발표했습니다. 이 글의 목표는 다음과 같은 질문을 던지는 것이었습니다: "모든 수익은 어디에 있는가?"당시 저는 AI 인프라 구축에 따른 매출 기대치와 최종 사용자 가치의 지표이기도 한 AI 생태계의 실제 매출 성장 사이에 큰 격차가 있음을 발견했습니다. 저는 이를 "현재 수준에서 매년 1,250억 달러의 자본 지출을 메워야 하는 구멍"이라고 설명했습니다.이번 주에 Nvidia는 세계에서 가장 가치 있는 회사로 올라섰습니다. 이에 앞서 몇 주 동안 분석의 배경이 된 수학을 업데이트해 달라는 요청을 수없이 받았습니다. AI의 2,000억 달러 문제는 해결되었나요, 아니면 더 악화되었나요? 오늘 이 분석을 다시 실행하면 다음과 같은 결과를 얻을 수 있습니다: AI의 2,000억 달러 문제는 이제 AI의 6,000억 달러 문제가 되었습니다. 참고: 이 지표는 쉽게 직접 계산할 수 있습니다. Nvidia의 런율 수익 예측에 2배를 곱하여 AI 데이터센터의 총 소유 비용(GPU는 총 소유 비용의 절반이며 나머지 절반에는 에너지, 건물, 백업 발전기 등이 포함됩니다)1을 반영하기만 하면 됩니다. 그런 다음 다시 2배를 곱하여 GPU의 최종 사용자(예: 수익을 창출해야 하는 Azure 또는 AWS 또는 GCP에서 AI 컴퓨팅을 구매하는 스타트업 또는 비즈니스)에 대한 총 마진 50%를 반영합니다. 2023년 9월 이후 달라진 점은 무엇인가요? 1. 공급 부족이 진정되었습니다: 2023년 후반은 GPU 공급 부족이 절정에 달했던 시기였습니다. 스타트업들은 VC에 전화를 걸고, 대화할 수 있는 사람이라면 누구에게나 전화를 걸어 GPU를 확보할 수 있도록 도와달라고 요청했습니다. 오늘날에는 이러한 우려가 거의 완전히 해소되었습니다. 저와 대화하는 대부분의 사람들은 이제 합리적인 리드 타임으로 GPU를 비교적 쉽게 구할 수 있다고 말합니다. 2. GPU 비축량이 증가하고 있습니다: 엔비디아는 4분기에 데이터센터 매출의 약 절반이 대형 클라우드 제공업체에서 발생했다고 보고했습니다. Microsoft만 해도 Nvidia 4분기 매출의 약 22%를 차지했을 것으로 보입니다. 하이퍼스케일 자본 지출이 역사적인 수준에 도달하고 있습니다. 이러한 투자는 빅 테크 24년 1분기 실적의 주요 ...