리뷰) AI는 미래에 어떤 방향으로 발전할까?
aussie
2024.09.28조회수 3회
aussie
구독자 4명구독중 4명
문제에 대한 문제 - 어려운 문제를 풀 때는 더 많은 양의 생각을 필요로 하지 않을까? (현실성 4/5)
사람은 다양한 문제를 만나면, 그 문제의 난이도에 따라 필요한 에너지를 적절히 조절하며 해결합니다.
예를 들어, 단순한 일은 거의 자동으로 처리하고, 복잡한 문제는 더 많은 사고력을 동원하죠.
하지만 현재의 언어 모델(LLM)은 난이도에 상관없이 모든 문제에 같은 연산량을 사용합니다.
즉, 복잡한 문제와 간단한 질문에 대해 같은 방식으로 작동하죠.
이 점에서, LLM이 문제의 난이도에 따라 연산량을 조절하는 방식으로 개선할 수 있지 않느냐는 논의가 진행되고 있습니다.
이는 직관적으로 말이 되는 아이디어처럼 보입니다.
하지만 먼저 해결해야 할 문제는 '문제의 난이도를 어떻게 판단할 것인가'입니다.
그리고 난이도를 정했다면, 그에 맞춰 연산량을 어떻게 유연하게 조절할 것인지,
모델 학습에 어떤 변화가 필요할지도 고민해야 합니다.
결국 이는 복잡한 문제로, 쉽게 풀리지는 않을 것이라는 의견이 있습니다.
-> 나는 이 부분에 대해 다르게 접근할 수도 있다고 생각한다.
사람이 가진 에너지의 양은 매우 제한적이고, 효율적인 부분은 에너지의 제한이 있을 때 영향력이 있다고 본다.
예를 들어, 휴대폰의 배터리는 양이 제한적이기 때문에 일을 효율적으로 처리한느 프로세서가 필요하지만
데스크톱은 전기를 직접 받아 작동되기 때문에 발열이 나는대로 쿨러도 작동시키면 그만이다.
AI는 문제의 난이도와 관계없이 에너지 양을 일정하게 사용한다.
인류는 이 문제에 대해, 제한된 전력을 효율적으로 사용할 것인가 vs 충분한 에너지를 발생할 것인가 라고 생각한다.
인류는 충분한 에너지에 대한 답을 이미 알고 있다.
원자력이다. 하지만 환경 오염과 대치대는 상황에서 원자력에너지의 방향성은 아직 모호하다.
그렇지만 AI의 발전 속도는 폭발적이고 인류사의 발전 속도 또한 상관관계가 높은 상황에 결국 어느 나라가 먼저 원자력에너지를 주 재료로 사용할 것인가는 시간문제라고 본다.
확산 모델 - 썼던 글을 수정할 수 있어야 하지 않을까? & 문장을 왼쪽에서 오른쪽의 순서로만 써야할까? (현실성 2/5)
1) 인간이 글을 쓸 때 반복적으로 수정하는 과정을 설명합니다.
문장을 지우고, 순서를 바꾸고, 단어를 수정하는 등의 작업은 일필휘지로 완성된 글을 쓸 수 없기 때문입니다.
2) 글을 순차적으로 쓰지 않고 마지막 문단을 먼저 쓰는 등 다양한 순서로 글을 작성하는 인간의 특징을 이야기합니다.
하지만 현재의 LLM은 글을 한 번 생성하기 시작하면 순차적으로 진행하며, 이미 생성된 문장을 수정할 수 없는 구조입니다.
이를 개선할 방법으로 확산 모델(diffusion model)이 언급됩니다. 확산 모델은 이미지를 생성할 때, 초기 노이즈에서 시작해 조금씩 수정하며 최종 이미지를 완성하는 방식인데, 이 방법을 텍스트...
