온디바이스AI, 메모리반도체 HBM의 성장

온디바이스 AI에서 중요한 건 저장용량

갤럭시 S24로 촉발된 온디바이스 AI가 열풍을 일으키고 있습니다. 과거 포스팅에서도 이야기했듯이 온디바이스 AI는 클라우드 서버와의 통신을 통해서 AI를 구현하는 게 아니라 기기자체에서 AI를 돌리는 것이기 때문에 엄청난 양의 저장소가 필요합니다. 

지난해 4분기 부터 메모리반도체 시장이 괜찮아지기 시작했는데요. 삼성전자는 AI관련하여 HBM에 적극 대응하겠다고 발표했습니다. 삼성 S24를 필두로 앞으로 다양한 AI폰이 나올 것으로 기대되는데요. 우리는 여기서 스마트폰에만 집중할게 아니라 AI 스마트폰에서 중요한 기억장치인 메모리 반도체에 대해서도 약간이나마 알고 있어야 할 것 같습니다

 

HBM(High Bandwidth Memory)은 모지?

우선은 우리가 알고 있는 메모리 반도체와 HBM 일명 고대역폭 메모리의 차이에 대해서 간략히 알아야 겠습니다. 모 저도 공학자가 아니니 최대한 제가 이해할 수 있을 만큼 설명을 해보겠습니다.

 

일반반도체와 HBM의 차이는 메모리 구조와 대역폭으로 구분 될 수 있습니다. 구조는 기존 일반 메모리반도체는 메모리 칩들이 메인보드에 붙어 있습니다. 이에 반해 HBM은 메모리 칩들이 스택 형태로 쌓는 구조입니다. 이러한 구조적 특성 때문에 한정된 메인보드에 일반 메모리반도체는 보드에 분산되고, HBM은 메모리 칩들이 3D형태로 스택으로 쌓을 수 있기 때문에 HBM이 일반메모리 반도체 보다 더 많은 데이터가 동시에 전송될 수 있기 때문에 대역폭이 더 좋다고 이야기하는 것입니다.

 

자 여기서 또 궁금한 것이 아니 HBM이 3D형태로 스택을 쌓는다 건 모야?라고 할 수 있습니다. 메모리 칩들이 스택으로 쌓여 있다는 건 여러 층의 메모리 칩을 하나의 패키지에 쌓아 놓는 것을 의미합니다. 단순하게 이야기하면 기존의 일반메모리칩들은 컴퓨터 메인보드에 하나씩 여기저기 흩어져서 붙어 있는 반면에 HBM은 다수의 메모리칩을 높이로 쌓아 올리는 형태로 디자인된다는 것입니다. 따라서 더 많은 메모리 용량을 적은 공간에 통합할 수 있게 되는 것입니다.

 

데스크탑 PC를 보시면 넓적한 판때기 같은데 CPU도 붙어 있고 우리가 모르는 여라가지 소켓들이 있지요? 그게 메인보드입니다. 그 위에 각종 장치를 연결하는 것인데요. 데스크탑 컴퓨터의 메인보드가 그 정도 사이즈인데. 스마트폰 메인보드는 얼마나 작겠습니까? 손바닥 사이즈 정도일까요? 그래서 온디바이스 AI, 아니 그냥 알기 쉽게 AI 스마트폰 S24를 볼 때 그 작은 스마트폰 보드에 생성형 AI를 구현한다고 하면 얼마나 많은 메모리가 필요하겠습니까? 따라서 HBM기술은 현재 데스크탑 컴퓨터뿐 아니라 온디바이스 AI에서도 매우 중요합니다. 

 

신기술 제품만 보지 말고, 그 안을 보자

우리는 다양한 신기술 제품이 나올때 모 솔직히 그냥 사용자 입장에서는 이쁘고 신기능이 많으면 신기해하며 쓰면 됩니다. 저도 예전에 왜 MS 오피스 자격증 같은 게 나올까?라는 의문점이 있긴 했어요. 제품 출시하는 회사가 알아서 사용자가 쉽게 쓰게 해야지 하면서 말이죠. 

 

그러나 요즘은 이런 생각을 해봅니다. 내가 과연 이 제품을 얼마나 가치있게 또는 효율적으로 사용을 하고 있나?라고 말이죠. 즉 이젠 공부가 필요한 시대가 온 것 같습니다. 출시되는 제품을 보며 그 안에 들어가 있는 기술들에 대해 생각을 한번쯤은 해봐야 하는 시대가 온 것 같습니다.