안녕하세요, 슈크림빵입니다.🧁
오늘은 어제(4월 28일) 월스트리트저널에 실린 기사 하나를 같이 읽어보려고 해요.
Majestic Labs라는 작은 스타트업에 관한 기사인데요.
이 회사 자체보다는, 이 기사가 다루는 'AI의 진짜 병목이 어디인가'라는 질문에 더 집중해보려고 합니다.
비싼 GPU가 놀고 있다는 말
기사에 나오는 말 중에 "메모리가 부족하면 처리 속도가 아무리 빨라도 칩이 그냥 놀고 있다."라는 말이 있습니다.
GPU가 데이터를 다 처리하고 다음 데이터를 기다리는 상태인 거죠. 옆에 있는 칩에서 메모리를 빌려와야 하는데 그 과정에 시간이 걸려서요.
이걸 업계에서는 '메모리 월(memory wall)'이라고 부릅니다. 여러번 다룬 적이 있죠!
처리 속도와 메모리 대역폭 사이에 벽이 있다는 뜻이에요.
처리 속도는 계속 빨라지는데 메모리가 못 따라가다 보니, 빠른 칩이 결국 메모리를 기다리며 멈춰 있는 시간이 점점 늘어나는 거예요.
특히 요즘처럼 AI 모델이 점점 커지는 상황에서는 이 문제가 더 심해진다고 합니다.
기사에 나오는 비유가 직관적이라 그대로 옮겨볼게요.
차고가 하나 더 필요한데, 그러려면 집을 새로 사야 하는 상황
지금은 메모리를 늘리려면 GPU를 통째로 더 사야 하니까, 정작 필요하지 않은 처리 능력에까지 돈을 쓰게 되는 구조라는 거예요.
Majestic Labs라는 시도
이 문제를 풀어보겠다고 나선 회사가 Majestic Labs예요.
작년 11월에 스텔스 모드(개발 단계에서 회사를 외부에 공개하지 않는 상태)에서 나오면서 총 1억 달러를 모았다고 발표했어요.
이 중...
