반도체 후공정_메모

홍진채님 글 보면서 다시 정리 KV Cache와 낸드 예전부터 HBF 말이 돌았음. DRAM으로는 메모리가 부족하다는 뜻임. 현재 AI모델은 LLM이든, VLM이든, 트랜스포머 모델을 사용함. 트랜스포머 모델은 연관도를 계산하는 것임. 언어연관도가 될 수도 있고, 이미지간의 연관도가 될 수 있음. 학습은 각 연관도를 그려서 Map을 만듦. 예를 들어서, "나는 오늘 김치를 먹었다. 그것은 매우 맛있었다."라는 문장이 있다고 해보자. 여기서 "그것"은 이 문장 내에서 "김치"지만, AI가 파악하려면 모든 토큰(단어)을 연관도 계산을 수행해야됨. 즉, 해당 문장의 토큰이 10개정도 된다면, 1 --> 2 --> 3 ... --> 10까지 모든 토큰을 비교해가며 연산을 수행함. 이게 연산이 너무 늘어나니까, 중간결과들을 저장할 공간이 필요해진 것이고 그 저장공간이 KV Cache인 것임. 이번 CES에서 NVDA가 KV Cache의 공간을 별도로 할당할 것이라고 말하면서 본격적으로 시장에 부각됨. KV Cache 공간을 사용해야되는 이유는 명확한데, 우리도 AI 챗봇을 오래 쓰면 성능이 ...

추론 수요가 증가하면서 칩의 전성비가 중요해짐. 즉, 제품 및 서비스별 맞춤형 칩이 중요해진 것임. 이런 칩을 ASIC이라고 하는데, ASIC 수요가 증가하면 디자인하우스도 수혜를 받게 됨. 디자인하우스는 팹리스 기업과 파운드리 기업을 이어주는 가교역할을 함. 파운드리와 조금 붙어다니는 경향이 있고, TSMC와 협업하면 VCA, 삼파랑 협업하면 DSP라고 부름. 이들 VCA랑 DSP는 협업하는 파운드리를 대신해서 영업하는 느낌이 강하기 때문에 지위가 강하고, 각각 8개기업 정도밖에 없음. 그렇다면 디자인하우스는 왜 각광받았나? 우선, 칩설계는 기능설계랑 해당 기능을 웨이퍼에 구현하는 설계로 나뉨. 기능 설계를 Front end, 웨이퍼에 구현을 하는 파트를 Back end인데, Front는 팹리스가, Back은 디자인하우스가 분담했었음. 유명한 ARM, AMD, QCOM과 같은 팹리스 회사들은 Front 설계가 가능한데, 빅테크나 스타트업 등 비용적, 기술적 문제로 front 설계를 전부하지 못함. 그래서 디자인하우스가 front까지 영역을 확대하는 흐름이었음. 디자인하우스가 front 영역까지 확대하면서 지위가 격상됨. 원래는 파운드리 외주를 받는 느낌이었음. 이것을 개발매출이라고 하는데, 쉽게 말해서 파운드리가 디자인하우스에 용역매출을 줘서 대신 웨이퍼에 구현해라 지시하고, 용역비를 주는 것임. 하지만 지금은 팹리스와 계약을 하면서 양산매출까지 가져감. 비유하자면 ...