다음 먹거리는 무엇일까? (feat.Gemini와 대화)

세상의 흐름이 매우 빠르게 변화하고 있다.

그 흐름을 쫓기 위해 우리는 유튜브, 블로그, 기사 등 많은 미디어를 우리를 노출 시킨다.

하지만 그 수 많은 정보에서 무엇에 관심을 갖고 어떻게 가공할 것인가에 대한 심층적 사고는 잘 하지 않는다.

특히 요즘처럼 산업의 패러다임이 변화하고 있을때 그 흐름을 빨리 쫓아 가는게 중요하다고 항변할수도 있다.

서론으로 이야기한 부분은 매우 흥미롭게도 우리가 사용중인 AI의 발전과 비슷한 과정을 밟고 오고 있다.

"Attention Is All You Need"

Submitted on 12 Jun 2017 (v1), last revised 2 Aug 2023 (this version, v7) Attention Is All You Need,Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia PolosukhinarXiv:1760.03762|#

구글브레인은 2017년 기존의 순환신경망(Recurrent Neural Network, RNN) 합성곱 신경망(Convoluational Neural Network, CNN)에서 탈피하여 트랜스포머(Transformer) 구조와 어텐션(Attention) 메커니즘을 제시하였다.이를 통해 병렬 연산이 가능해지면서 엄청난 양의 데이터를 한꺼번에 학습이 가능한 LLM(Large Language Model, 거대 언어 모델)이 기술적 토대를 마련하였다.

(Jensen Hwuang의 GPU 설명이 떠오른 사람이라면 $NVDA 투자 했을 것이다! 더 빠른 살마은 알파고가 이세돌을 이겼을때???)

Open AI는 이 트랜스포머 구조를 가져와 "...