비전문가는 전문가에게 지식을 얻어야 하니 물어봤다.
TPU는 LLM 학습, 대규모 추론에만 쓰임.
비전, 로보틱스, 시뮬레이션 등 대부분 분야에서
사용 불가 답변을 받음.
아래는 자율주행에 사용 가능한지 물어본 것에 대한 답변.
1) TPU vs GPU 연산 방식의 핵심 차이
GPU
원래 그래픽 처리를 위해 만들어짐.
병렬 연산이 많지만, 다양한 형태의 연산을 유연하게 처리하는 것이 강점.
행렬곱, 벡터 연산 등 다양한 계산을 잘함.
범용성이 높고 학습·추론 모두 무난하게 강함.
TPU
오직 딥러닝용 행렬곱(MATMUL)을 극도로 빠르게 하기 위해 설계됨.
내부에 Systolic Array라는 큰 행렬곱 전용 하드웨어가 있어서 이 부분은 GPU보다 훨씬 빠르고...
