인공지능 시대의 경쟁 구도가 급속히 변화하고 있다. 그래픽처리장치(GPU) 성능 경쟁에서 벗어나 메모리 반도체 기술 확보가 차별화의 핵심으로 부상하고 있기 때문이다.
문제의 중심에는 '메모리 월'(Memory Wall) 현상이 있다. CPU나 GPU의 처리 속도는 빠르게 향상되지만 데이터를 옮기는 속도가 뒤따르지 못하면서 전체 시스템의 성능이 제약받는 상황이 발생한다. 강력한 프로세서를 갖춰도 데이터 이동 경로가 좁으면 그 성능을 제대로 발휘할 수 없다는 뜻이다. 생성형 AI는 초당 대규모 데이터를 입출력해야 하는데, 이 통로가 막히면 아무리 고성능 GPU도 효율성을 잃게 된다.
해결책으로 주목받는 것이 고대역폭메모리(HBM)다. 여러 D램 칩을 수직으로 적층하고 극미세 구멍(TSV)을 통해 연결하는 방식으로, 제한된 공간에서 데이터 통로의 폭을 극적으로 늘린 기술이다. 기존 DDR 방식과 비교하면 대역폭 측면에서 격차가 매우 크다. 전력 효율도 뛰어나 AI 연산 환경에 최적화돼 있다.
삼성전자와 SK하이닉스가 현재 전 세계 HBM 공급을 주도하고 있다. 엔비디아의 'H100' 가속기는 80기가바이트(GB) 용량의 HBM3를 탑재했으며, 최신 'B200' 모델은 192GB의 HBM3E를 장착했다. 차기 프로세서 '루빈'에는 6세대 HBM4가 탑재될 예정으로, 세대마다 성능과 용량 요구가 기하급수적으로 증가 추세다.
AI 산업이 모델 학습 단계를 넘어 대규모 질의에 실시간으로 답하는 '추론' 단계로 진화하면서 메모리 수요는 더욱 가팔라지고 있다. 외부 도구를 활용해 독립적으로 작동하는 'AI 에이전트' 같은 고도의 AI 기능이 확산되면서 메모리의 역할은 한층 중요해졌다.
정부는 반도체, 물리적 AI, AI 데이터센터를 국가 핵심 성장 축으로 설정한 '3대 메가 프로젝트'를 선언하고 본격적 투자에 나섰다. 수도권의 메모리 반도체 공장 가동 시점을 12년 단축하기로 하고, 충청권을 HBM 및 첨단 패키징 전문 지역으로 구축하려는 계획이 이를 반영한다. 이는 AI 데이터 처리 효율을 극대화하는 국가 차원의 전략이다.
AI 경쟁이 프로세서 성능을 넘어 메모리, 패키징, 고속 연결 기술을 포함한 전체 데이터 흐름 체계로 전환되고 있다. 한국 반도체 산업에는 새로운 기회의 창이 열리고 있는 셈이다.
