토토사이트 fa하이닉스가 지난 9일부터 11일까지(미국시간) 미국 캘리포니아주 산타 클라라(Santa Clara)에서 열린 AI Infra Summit 2025에 참가해 차세대 AI 메모리 ‘AiM*’ 기반 설루션을 선보이며 미래 AI 서비스를 선도할 기술력을 입증했다.

* AiM(Accelerator-in-Memory): 토토사이트 fa하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨

▲ AI Infra Summit 2025 토토사이트 fa하이닉스 부스

AI Infra Summit 2025는 글로벌 AI 업계의 주요 기업과 연구 그룹이 최신 하드웨어(Hardware)와 소프트웨어(Software) 인프라 기술을 공유하고 시연하는 자리다. 기존의 AI Hardware & Edge AI Summit을 리브랜딩한 행사로, ‘Powering Fast, Efficient & Affordable AI(빠르고, 효율적이며, 경제적인 AI 구현)’란 슬로건 아래 3,500명 이상의 전문가와 100여 개 글로벌 기업이 참여했다.

토토사이트 fa하이닉스는 골드 스폰서로 참가해 PIM* 기술 기반의 AiM을 이용한 설루션을 집중적으로 선보였다. 부스는 ‘Boost Your AI: AiM is What You All Need(당신의 AI를 강화하라: AiM이 바로 해답이다)’라는 주제로 구성됐으며, AiMX* 카드 4개와 엔비디아(NVIDIA) H100 GPU 2개가 장착된 슈퍼마이크로 서버(Supermicro SYS-421GE-TNRT3)를 기반으로 라이브 데모가 진행됐다. 방문객들은 실제 환경에서 시스템 성능을 직접 체험하며 AiM 제품의 기술력과 차별성을 확인했다.

* PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술

* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 토토사이트 fa하이닉스의 가속기 카드 제품

▲ 토토사이트 fa하이닉스가 전시한 AiM 솔루션 데모

데모의 핵심은 LLM* 서비스에서 발생하는 메모리 월* 현상의 해소였다. 기존 GPU 단독 시스템은 컴퓨트 바운드* 연산과 메모리 바운드 연산*을 모두 GPU에서 처리한다. 이는 시스템에 대한 사용자의 요청이 증가하고 각 요청의 문맥이 길어질수록 효율성이 떨어지는 문제로 이어진다. 그에 비해 AiMX 기반의 디스어그리게이티드 시스템*은 메모리 바운드 연산을 AiMX에서 분담해, GPU가 연산 성능에 집중할 수 있도록 설계됐다. 때문에 더 많은 요청을 동시에 처리할 수 있으며, 긴 문맥도 안정적으로 다룰 수 있다.

* LLM(Large Language Model-대규모 언어 모델): 방대한 데이터를 학습해 자연어를 이해하고 생성하는 인공지능 모델

* 메모리 월(Memory Wall): 데이터 처리 속도에 비해 메모리 접근 속도가 느려 발생하는 성능 한계

* 컴퓨트 바운드(Compute-bound): 연산 능력이 전체 처리 속도를 결정하는 상태

* 메모리 바운드(Memory-bound): 메모리 접근 속도가 전체 처리 속도를 결정하는 상태

* 디스어그리게이티드 시스템(Disaggregated System): 서로 다른 종류의 프로세싱 유닛(Processing Unit)으로 시스템을 구성해 연산 작업을 이원화하는 구조

▲ AI Infra Summit 2025에서 소개된 토토사이트 fa하이닉스의 AiMX 제품

▲ AI Infra Summit 2025에서 소개된 토토사이트 fa하이닉스의 AiM 칩

▲ AI Infra Summit 2025에서 소개된 토토사이트 fa하이닉스의 AiMX 카드

회사는 소프트웨어 측면에서의 개선도 선보였다. AI 서비스 개발에 널리 사용되는 프레임워크 vLLM*을 활용해 AiM 기반 설루션의 기능을 강화했으며, 복잡한 추론 과정을 거치는 리즈닝 모델*에서도 긴 토큰 생성을 안정적으로 지원한다.

이러한 설계 및 최적화 덕분에 AiM 기반 설루션은 LLM 서비스 운영에서 발생하는 비용, 성능, 전력 소모 문제를 동시에 개선하며 GPU 단독 시스템 대비 운영비 절감 효과도 제공할 수 있다.

* vLLM(Virtual Large Language Model): 대규모 언어 모델 추론을 최적화하고 성능을 높이는 AI 프레임워크

* 리즈닝 모델(Reasoning Model): 단순 응답을 넘어 논리적 추론을 수행하는 고급 AI 모델

▲ AI Infra Summit 2025에서 발표를 진행하는 토토사이트 fa하이닉스 임의철 부사장(Solution AT 담당)

행사 둘째 날에는 토토사이트 fa하이닉스 임의철 부사장(Solution AT 담당)이 ‘Memory/Storage: Crushing the token cost wall of LLM service: Attention offloading with PIM-GPU heterogeneous system(LLM 서비스의 토큰 비용 벽을 허무는 메모리·스토리지 혁신: PIM-GPU 이기종 시스템의 Attention offloading*)’을 주제로 발표를 진행했다. 임 부사장은 LLM 서비스의 토큰 처리 비용을 획기적으로 줄일 수 있는 새로운 접근법을 공유하며, AI 메모리 기술이 산업 혁신의 동력이 될 수 있음을 강조했다.

* Attention offloading: LLM이나 트랜스포머 모델에서 어텐션 연산의 일부를 메모리 외부 장치로 분산하거나 캐싱하여, GPU나 메인 메모리의 부담을 줄이는 기술

토토사이트 fa하이닉스는 “이번 행사는 하드웨어부터 데이터센터, 엣지 AI까지 확장된 AI 인프라의 현주소를 보여준 자리였다”며 “회사는 앞으로 차세대 AI 메모리 설루션을 통해 미래의 AI 서비스가 직면한 과제를 풀어낼 수 있는 기술력을 지속적으로 선보이겠다”고 밝혔다.

▲ 삼성동 코엑스에서 개최된 토토사이트 fa AI 서밋 2024 현장

토토사이트 fa하이닉스가 4일부터 양일간 서울 삼성동 코엑스에서 열린 ‘토토사이트 fa AI Summit 2024(이하 AI 서밋)’에 참가했다. ‘AI 투게더, AI 투모로우(AI Together, AI Tomorrow)’를 주제로 열린 이 행사에서 회사는 현존 HBM* 최대 용량인 48GB(기가바이트) 기반의 ‘HBM3E 16단’개발 사실을 공식적으로 알리고, 핵심 성과를 집대성해 선보였다. 이와 함께 ‘풀 스택 AI 메모리 프로바이더(Full Stack AI Memory Provider)’로 나아가기 위한 비전도 공유했다.

AI 서밋은 토토사이트 fa 그룹이 매년 개최하던 토토사이트 fa 테크 서밋[3x3 토토사이트하이닉스, ‘3x3 토토사이트 테크 서밋 2023’에서 AI 시대를 선도하는 차세대 메모리 기술 공개 – 3x3 토토사이트 hynix Newsroom]을 AI 중심으로 격상한 행사다. 올해 행사에서는 글로벌 AI 대가들이 모여 범용인공지능 시대의 생존법을 논의하고 AI 생태계 강화 방안을 모색했다.

특히 토토사이트 fa 최태원 회장, 토토사이트 fa하이닉스 곽노정 대표이사 사장, 토토사이트 fa텔레콤 유영상 사장을 비롯해 오픈AI 회장 겸 사장 그레그 브로크만(Greg Brockman), 마이크로소프트(MS) 총괄 부사장 라니 보카르(Rani Borkar) 등 다양한 분야의 전문가가 참석해 의미를 더했다. 아마존웹서비스(AWS), MS 등 빅테크 기업과 K-AI 얼라이언스 회원사도 동참해 부스를 꾸리고 업계 관계자 및 관람객과 교류하는 시간을 가졌다.

토토사이트 fa하이닉스는 AI 산업의 키플레이어로서 행사에 참여해 자사 제품과 성과를 공유했다. 특히, HBM3E 16단 발표가 큰 주목을 받았다. 발표에는 곽노정 사장을 비롯해 강욱성(차세대 상품기획 담당), 박문필(HBM PE 담당), 이강욱(PKG개발 담당), 주영표(소프트웨어 솔루션 담당), Paul Fahey(토토사이트 faHYA) 부사장 등이 참석해 회사의 기술 리더십을 알렸다.

▲ 토토사이트 fa AI 서밋 2024에서 개회사를 전하고 있는 토토사이트 fa 최태원 회장

이날 최태원 회장은 ‘AI 투게더, AI 투모로우’란 주제에 걸맞은 담론과 비전을 제시하며 행사의 포문을 열었다. 최 회장은 “AI는 초기 단계이고 모르는 것이 많기에 문제 해결과 진전을 위해선 많은 사람의 참여와 협력이 중요하다”고 밝혔다. 또, 최 회장은 “토토사이트 fa는 칩(Chip)부터 에너지, 데이터 센터 구축·운영, 서비스 개발, 유즈케이스(Use-Case)까지 모두 커버하는 글로벌 기업”이라며 “각 분야 최고의 파트너들과 협업 중이고 이를 통해 글로벌 AI 혁신을 만들어 나가겠다”고 강조했다.

곽노정 사장, 기조연설 통해 ‘HBM3E 16단’ 개발 사실 공식화해

4일 ‘차세대 AI 메모리의 새로운 여정, 하드웨어를 넘어 일상으로(Next AI Memory, Hardware to Everywhere)’를 주제로 기조연설을 펼친 곽노정 사장은 이 자리에서 HBM3E 16단 제품을 개발하고 있다고 공식 발표했다.

▲ 토토사이트 fa AI 서밋 2024에서 기조연설을 하고 있는 토토사이트 fa하이닉스 곽노정 대표이사 사장

곽 사장은 “D램 칩 16개를 적층해 48GB 용량을 구현했고, 양산성이 검증된 어드밴스드 MR-MUF 기술*을 적용했으며, 백업(Back Up) 공정으로 하이브리드 본딩* 기술도 함께 개발 중”이라고 설명했다. 또, “16단은 12단 대비 AI 학습 성능을 최대 18%, 추론 성능을 최대 32% 향상할 수 있다”고 덧붙였다. HBM3E 16단은 2025년 상용화를 목표로 하고 있다.

이번 발표에서 곽 사장은 ‘World First(세계 최초 개발·양산 제품), Beyond Best(차세대 고성능 제품), Optimal Innovation(AI 시대, 시스템 최적화 제품)’이란 로드맵도 공개했다. 그는 “HBM3E 16단과 DDR5 RDIMM(1cnm)[관련기사] 등을 세계 최초로 개발한 데 이어 HBM4, UFS* 5.0 등 차세대 고성능 제품을 개발할 계획”이라고 밝혔다. 또, “장기적으로는 AI에 최적화된 커스텀(Custom) HBM, CXL®* 등을 상용화해 풀 스택 AI 메모리 프로바이더로 성장하겠다”고 강조했다.

HBM4에 대한 언급도 눈길을 끌었다. 곽 사장은 “세계 최고의 파운드리와 협력해 전력 소모를 줄이는 방향으로 베이스 다이(Base Die) 성능을 개선하는 중”이라며 “원팀 파트너십을 바탕으로 최고 경쟁력을 갖춘 제품을 공급하고 HBM 선도 업체의 위치를 더욱 공고히 할 것”이라고 말했다.

주요 임원진 참석, HBM 및 차세대 메모리 인사이트 전해

▲ (첫 장부터) 유승주 교수, 박문필(HBM PE 담당) 부사장, 구건재 교수, 주영표(소프트웨어 솔루션 담당) 부사장

박문필 부사장과 유승주 교수(서울대학교 컴퓨터공학부)는 ‘가속기 트렌드와 HBM 전망’을 주제로 각각 발표했다. “AI 추론 비용이 증가한다”는 유 교수의 전망에 박 부사장은 “성능·비용 최적화를 이유로 커스텀 HBM이 떠오른다”며 “고객·파운드리·메모리 간 3자 협업으로 대응하고 있다”고 강조했다.

이어서 주영표 부사장과 구건재 교수(고려대학교 컴퓨터학과)가 ‘미래 아키텍처와 신규 메모리 솔루션’에 관해 논의했다. 구 교수는 새로운 시스템 소프트웨어 구조의 필요성을 짚었고, 주 부사장은 이 요구에 발맞춘 토토사이트 fa하이닉스의 신규 메모리 솔루션으로 CXL®, PIM* 등을 소개했다.

▲ (첫 장부터) 대담을 나누고 있는 강욱성(차세대 상품기획 담당) 부사장, Paul Fahey(토토사이트 faHYA) 부사장

‘초연결 시대의 디지털 신경망: AI와 Memory가 그리는 미래 산업 지형’을 주제로 대담도 열렸다. 이 자리에는 강욱성 부사장과 Paul Fahey 부사장이 참석했다. 두 임원은 “미래에는 로직 공정을 베이스 다이에 적용한 HBM, 온디바이스에서 큰 역할을 할 PIM, 메모리 공유 기능을 가진 CXL®의 역할이 증대될 것”이라며 “토토사이트 fa하이닉스는 파트너사와 긴밀히 협력해 차세대 AI 메모리 제품을 만들고 있다”고 설명했다.

▲ 관계자들과 토의를 진행하고 있는 이강욱(PKG개발 담당) 부사장

이강욱 부사장은 업계 관계자들이 모인 세션에 패널로 참여해 ‘AI 반도체와 인프라의 진화’를 주제로 토의를 진행했다.

▲ (첫 장부터) 이병규(DT)·김문욱(DT)·장세남(DT) TL, 권종오(PKG개발) 팀장, 황인태(P&T)·윤성현(기반기술센터)·김정한(미래기술연구원) TL

이외에도 이병규(DT) TL이 ‘E2E 자동화로 반복 업무 탈출, 고부가가치 업무로 전환하는 반도체 FAB 이야기’를 주제로 발표했고, 김문욱·장세남(DT) TL이 ‘지능형 이미지 분류 AI 시스템 적용을 통한 생산 품질 업무 경쟁력 강화’에 대해 공동발표를 진행했다.

권종오(PKG개발) 팀장, 황인태(P&T)·윤성현(기반기술센터) TL, 김정한(미래기술연구원) TL은 ▲16단 HBM 패키징 기술 ▲딥러닝을 활용한 HBM 생산 고도화 ▲AI를 활용한 반도체 연구 등을 주제로 기술 인사이트를 공유했다.

▲ (첫 장부터) 전재영(메모리시스템연구소)·이경수(메모리시스템연구소)·박상수(미래기술연구원) TL, 박은영(안전보건환경) 팀장

전재영(메모리시스템연구소) TL, 이경수(메모리시스템연구소) TL, 박상수(미래기술연구원) TL은 ▲이종 메모리의 가능성 ▲온디바이스 AI의 요구사항 ▲차세대 컴퓨테이셔널 메모리(Computational Memory)를 주제로 미래 메모리 기술을 검토했다.

AI 서비스 영역의 발표를 맡은 박은영(안전보건환경) 팀장은 ‘토토사이트 fa하이닉스의 현장 안전 로봇 가온(Ga-on) 도입 및 운영 사례’를 공개해 많은 관심을 모았다.

주요 발표와 연계한 AI 메모리 라인업도 선보여

AI로 깊이 빠져들다(Deep Dive into AI)를 테마로 구성된 토토사이트 fa 공동부스에서는 토토사이트 fa하이닉스의 AI 메모리 라인업을 모두 만나볼 수 있었다.

▲ (첫 장부터) 토토사이트 fa 공동부스 전경, CMM-DDR5, AiMX, DDR5 MCRDIMM, eSSD, LPCAMM2, LPDDR5X, Brand SSD, 오토모티브 솔루션

특히 토토사이트 fa하이닉스는 미래 메모리 솔루션으로 언급한 CMM(CXL® Memory Module)-DDR5와 AiMX도 선보였다. CMM-DDR5는 이론적으로 기존 시스템 대비 최대 50%의 대역폭, 최대 100%의 용량 확장을 지원한다. AiMX는 GDDR6-AiM*을 여러 개 탑재한 가속기 카드로, 저장과 연산 기능을 모두 수행해 AI의 품질을 높이는 제품이다.

회사는 고성능 컴퓨팅(HPC)과 AI 서버를 위한 초고속 메모리 모듈로, 초당 8.8Gb(기가비트) 속도의 DDR5 MCRDIMM* 또한 전시했다. 이외에 LPDDR5X* 여러 개를 모듈화한 LPCAMM2를 온디바이스 AI 분야에서 활약할 제품으로 소개했고, AI 및 데이터센터 최적화 제품으로 PS1010 E3.S 등의 eSSD도 선보였다.

부스에서는 AI 기반 시스템 및 솔루션도 살펴볼 수 있었다. 회사는 ‘AI 기반 소재 품질 사전 예측 시스템’과 토토사이트 fa하이닉스 제품으로 구성된 ‘오토모티브 솔루션’을 공개하며 많은 관람객의 이목을 끌었다.

이번 행사에서 곽노정 사장은 “당사는 AI 전 영역에 걸친 AI 메모리 솔루션을 보유하고, 여러분과 함께 새로운 미래 경험을 창조해 나갈 준비가 되어 있다”고 강조한 바 있다. 발표와 전시를 성황리에 마친 토토사이트 fa하이닉스는 토토사이트 fa 서밋을 통해 공개한 비전에 발맞춰 미래 시장 준비를 더욱 철저히 해나간다는 계획이다.

올해로 26회를 맞은 SEDEX는 한국반도체산업협회가 주최하는 국내 최대 반도체 전문 전시회다. ‘AI 반도체와 최첨단 패키지 기술의 융합’이라는 기조 아래 개최된 이번 전시에는 반도체, 시스템 반도체, 장비·부품, 재료, 설비, 센서 등 반도체 생태계 전 분야의 250개 사(社)가 참석해 약 600개의 부스를 꾸렸다.

▲ 토토사이트 fa하이닉스 2024 반도체대전(SEDEX) 전시관 전경

올해 토토사이트 fa하이닉스는 약 80평의 공간에 ‘MEMORY, THE HEART OF AI’라는 주제로 전시관을 조성, 글로벌 AI 메모리 시장을 선도하는 회사의 독보적인 기술력을 공개했다. 메인 전시 존에서는 ▲현재 시장에서 가장 각광받고 있는 초고성능 메모리 HBM*을 필두로 ▲차세대 메모리 기술로 주목받고 있는 CXL®*과 ▲차세대 지능형 메모리 PIM* ▲데이터 센터의 고성능 컴퓨팅을 구현할 서버용 솔루션과 ▲스마트 디바이스 자체에서 정보를 처리할 수 있는 온디바이스* 용 솔루션 등 AI 기술 혁신을 가속할 AI 향(向) 메모리 솔루션을 대거 선보였다.

* HBM(High Bandwidth Memory): 여러 개의 D램을 수직관통전극(TSV, Through Silicon Via)으로 연결해 고대역폭을 구현한 메모리로, 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전
* CXL®(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 활용하기 위한 차세대 인터페이스
* PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* 온디바이스(On-Device) AI: 물리적으로 떨어진 서버의 연산을 거치지 않고 기기 자체에서 AI 기능을 구현하는 기술. 스마트 기기가 자체적으로 정보를 수집, 연산하기 때문에 AI 기능의 반응 속도가 빨라지고 사용자 맞춤형 AI 서비스 기능도 강화되는 장점이 있음

또한, 창립 41주년 기념 브랜드 필름과 미래 AI 비전의 허브가 될 ‘용인 반도체 클러스터’ 전시존 등을 통해 지난 40년을 디딤돌 삼아 AI 시대 글로벌 No.1 메모리 기업으로 도약하는 회사의 새로운 비전을 공유했다.

이와 함께, 토토사이트 fa하이닉스의 자회사형 장애인 표준사업장 ‘행복모아’에서 진행하는 ‘행복만빵’ 전시존을 조성하여 회사의 사회적 가치 창출 활동을 소개했으며, 게임과 이벤트 등의 참여형 콘텐츠도 다채롭게 준비해 관람객들의 발길을 사로잡았다.

한편, 행사 둘째 날인 24일, 한국반도체산업협회 주관으로 진행된 키노트 스피치에서 ‘AI 시대의 반도체 패키징의 역할’이라는 주제로 토토사이트 fa하이닉스 이강욱 부사장이 연설을 펼쳤다.

뉴스룸은 SEDEX 2024 현장을 찾아 토탈 AI 메모리 프로바이더로서 토토사이트 fa하이닉스가 선보이는 기술 비전을 담아봤다.

HBM부터 서버용·온디바이스용 AI 솔루션까지, 글로벌 No.1 AI 메모리 기술 총망라

▲ HBM3E를 탑재한 가상 GPU가 가동되는 시뮬레이션

토토사이트 fa하이닉스는 전시관 중앙에 대형 LED를 설치해 가상의 AI 데이터센터를 구현했다. HBM3E를 탑재한 가상 GPU가 가동되는 시뮬레이션이 반복되며, 관람객들에게 마치 실제 데이터센터에 온 듯한 느낌을 선사했다.

LED 월 뒤편에는 토토사이트 fa하이닉스의 대표적인 AI 메모리 제품을 만날 수 있는 전시 공간이 마련됐다.

▲ HBM 전시존 전경과 12단 HBM3E 조형물을 관람 중인 관람객들

전시존의 중앙을 차지한 메인 제품은 AI 구동에 최적화된 현존 최고 성능의 D램 HBM이었다. 지난 9월 토토사이트 fa하이닉스가 세계 최초로 양산에 돌입한 HBM3E 12단[관련기사] 제품이 전시되었으며, 세계 최고의 기술력을 자랑하는 토토사이트 fa하이닉스의 HBM 개발사(史)가 소개됐다. 전시 중 가장 눈에 띈 것은 12단 적층 기술을 형상화한 조형물들이었다. 특히, 1970년 개발된 세계 최초의 D램과 2024년 12단 HBM3E의 용량을 쌀알의 수치로 비교해 관람객들의 흥미를 불러일으켰다.

HBM 전시존 왼쪽에는 HBM의 뒤를 이을 차세대 AI 메모리 기술로 각광받는 PIM과 CXL®을 위한 공간을 조성했다.

▲ PIM 전시존에서 AiM과 AiMX 제품을 관람 중인 관람객들

PIM 섹션에서는 토토사이트 fa하이닉스의 PIM 반도체인 AiM*과 가속기 카드인 AiMX를 소개했다. 메모리 내에서 연산 기능까지 수행할 수 있는 GDDR6-AiM과 이 칩 여러 개를 탑재해 구동하는 AiMX는 고성능, 저전력에 비용까지 절감할 수 있어 생성형 AI를 위한 최고의 솔루션으로 눈도장을 찍었다.

* AiM(Accelerator-in-Memory): 토토사이트 fa하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨

▲ CXL 전시존에서 CMM-DDR5와 CMM-Ax 제품을 관람 중인 관람객들

CXL®은 고성능 컴퓨팅 시스템에서 CPU/GPU, 메모리 등을 효율적으로 연결해 대용량, 초고속 연산을 지원하는 차세대 인터페이스다. CXL® 섹션에서는 DDR5와 장착해 기존 시스템 대비 최대 50%의 대역폭, 최대 100%의 용량 확장 효과를 내는 CMM(CXL® Memory Module)-DDR5와 CXL 메모리에 머신러닝 및 데이터 필터링 연산 기능까지 통합한 CMM-Ax* 샘플 제품을 전시했다.

* CMM(CXL Memory Module)-Ax: 기존 CMS(Computational Memory Solution) 2.0의 명칭을 변경. CMM은 CXL Memory Module의 약자로 제품에 CXL 기반 솔루션의 정체성을 부각했고, Accelerator와 xPU의 의미를 가져와 ‘Ax’라는 이름을 붙임

HBM 전시존 오른쪽에는 서버용 AI 솔루션과 온디바이스용 AI 솔루션 제품들을 배치했다.

▲ 서버용 AI 솔루션 전시존에서 제품을 관람 중인 관람객들과 주요 전시 제품(DDR RDIMM)

서버용 솔루션으로는 고성능 컴퓨팅 시장(HPC)에서 주목받고 있는 DDR5 RDIMM(1cnm), DDR5 MCRDIMM 등의 고성능 서버용 모듈과 다양한 서버에 호환이 가능한 폼팩터(Form Factor)를 갖춘 eSSD(Enterprise SSD, 기업용 SSD) 라인을 전시했다. 이중 지난 9월 TSMC OIP에서 최초로 실물을 공개한 ‘DDR5 RDIMM(1cnm)’[관련기사]은 이전 세대 대비 11% 빨라진 속도와 9% 이상 개선된 전력 효율로 데이터센터 적용 시 비용을 최대 30%까지 절감할 수 있을 것으로 기대를 모으는 제품이다.

▲ 온디바이스용 AI 솔루션 전시존 전경과 주요 전시 제품(순서대로 LPCAMM2, ZUFS 4.0)

온디바이스용 AI 솔루션 섹션에서는 LPDDR5X* 패키지를 하나로 묶은 LPCAMM2와 차세대 모바일 낸드 솔루션 ZUFS*(Zoned UFS) 4.0 실물 제품을 만날 수 있었다. LPCAMM2는 기존 D램 모듈(SODIMM*) 2개를 LPCAMM2 1개로 대체하는 수준의 성능 효과를 보이며, 공간 절약뿐만 아니라 저전력과 고성능 특성을 구현하며, 향후 다양한 온디바이스 AI 시장의 니즈를 충족하는 제품으로 주목받고 있다. 또한, 업계 최고 성능의 ZUFS 4.0[관련기사]은 장시간 사용 환경에서 스마트폰 앱 실행 시간을 기존 제품 대비 약 45% 높인 제품으로, 모바일 기기에서 온디바이스 AI를 구현하는 데 최적화된 메모리라는 평가다.

* LPDDR5X: 스마트폰과 태블릿 등 모바일용 제품에 들어가는 D램 규격으로, 전력 소모량을 최소화하기 위해 저전압 동작 특성이 있음. 규격 명에 LP(Low Power)가 붙으며, 최신 규격은 LPDDR 7세대(5X)로 1-2-3-4-4X-5-5X 순으로 개발됨. LPDDR5T는 토토사이트 fa하이닉스가 최초 개발한 버전으로, 8세대 LPDDR6가 업계에 공식 출시되기 전 7세대인 LPDDR5X의 성능을 업그레이드한 제품
* ZUFS: Zoned Universal Flash Storage. 디지털카메라, 휴대전화 등 전자제품에 사용되는 플래시 메모리 제품인 UFS의 데이터 관리 효율이 향상된 제품. 이 제품은 유사한 특성의 데이터를 동일한 구역(Zone)에 저장하고 관리해 운용 시스템과 저장장치 간의 데이터 전송을 최적화함
* SODIMM(Small Outline DIMM): 데스크탑 및 노트북 등 PC에서 사용되는 메모리 모듈을 통칭하는 개념

AI 시대를 끌어갈 미래 비전, 관람객들과 적극 공유

▲ 용인 반도체 클러스터와 가우스랩스를 소개하는 전시존

토토사이트 fa하이닉스는 메인 전시존 외에 용인 반도체 클러스터와 산업용 AI 스타트업 가우스랩스를 소개하는 스페셜 전시존을 함께 선보였다.

용인 반도체 클러스터는 현재 경기도 용인 원삼면 일대에 인프라 구축 작업이 한창이다. 이번 전시에서는 AI 메모리 생태계의 허브이자 토토사이트 fa하이닉스의 중장기 성장 비전의 중심으로 자리매김할 용인 반도체 클러스터의 목표와 비전을 공유하여 관람객들에게 깊은 인상을 남겼다.

▲ 브랜드 SSD 전시존 전경과 주요 전시 제품(왼쪽부터 Tube T31, 비틀X31)

또한, 일반 고객들을 위한 B2C 제품인 ‘브랜드 SSD’ 전시존을 별도로 조성하여 보다 적극적인 제품 홍보에도 나섰다. 브랜드 SSD 전시존에는 영화보다 영화같은 광고로 화제가 된[관련기사] 포터블(Portable, 외장형) SSD ‘비틀(Beetle) X31’의 미주 광고 영상을 상영했으며, 비틀 X31을 비롯해 PCIe SSD P41, P51과 스틱 타입의 SSD인 Tube T31 제품 전시를 함께 진행했다.

▲ 행복만빵 전시존에서 관람객들을 위해 준비한 빵

회사의 대표적인 사회적 가치(SV) 창출 활동인 ‘행복만빵’ 사업을 소개하는 부스도 눈길을 끌었다. 행복만빵은 토토사이트 fa하이닉스의 장애인 표준사업장 자회사인 ‘행복모아’의 제빵 브랜드로 현재 약 190명의 발달장애인이 빵을 만드는 다양한 공정에서 맞춤형 직무를 수행하고 있다. 특히, 부스 방문 시 행복만빵에서 생산한 빵과 쿠키를 맛볼 수 있는 이벤트를 진행하여 많은 관람객들의 방문 릴레이가 이어졌다.

▲ 관람객들이 토토사이트 fa하이닉스가 준비한 다양한 이벤트와 게임을 즐기고 있다.

이 외에도 회사는 전시관 곳곳에서 다양한 이벤트와 게임을 진행하며 관람객들과 적극적으로 소통했다. 브랜드 SSD 전시존 입구에서는 ‘X31 BEETLE을 찾아라’ 게임 이벤트를 상시 진행하며, 제품 홍보와 고객 참여 두 마리 토끼를 한 번에 잡았다. 또한, 토토사이트 fa하이닉스의 메모리 기술을 소재로 제작한 점프 게임, 핀볼 게임, 레이어 게임으로 별도의 게임 존을 조성했으며, 푸짐한 경품을 곁들인 장학 퀴즈와 뽑기 이벤트 등의 참여형 콘텐츠도 풍성하게 준비하여 관람객들의 호응을 높였다.

토토사이트 fa하이닉스는 “AI 시대에 토토사이트 fa하이닉스 메모리 반도체가 지니는 의미와 중요성을 강조하기 위해 이번 SEDEX 2024 전시를 기획했다”고 밝히며 “토탈 AI 메모리 프로바이더로서 토토사이트 fa하이닉스가 선보이는 다양한 제품과 뛰어난 기술력을 한자리에서 만나볼 수 있는 자리가 될 것”이라고 강조했다.

HBM, AI의 등장과 HBM으로 우뚝 선 토토사이트 fa하이닉스의 위상

토토사이트 fa하이닉스가 글로벌 AI 메모리 시장에서 No.1으로 자리 잡은 배경에는 ‘인공지능(AI) 산업의 성장’이 큰 역할을 했다. 2022년 생성형 AI의 등장 이후 다양한 제품과 서비스가 AI 중심으로 재편됐고, AI 기술은 빠르게 발전했다. 이에 따라 대용량 데이터를 처리하고 빠른 학습과 추론을 지원하는 고성능 메모리의 필요성도 크게 증가했다. 토토사이트 fa하이닉스는 이 같은 시장 변화에 발맞춰 고성능 메모리 솔루션을 제공하며 AI 산업 발전에 핵심적인 역할을 수행했다.

토토사이트 fa하이닉스는 AI 흐름이 본격화하기 전부터 고대역폭으로 대용량 데이터를 빠르게 전달하는 ‘HBM(High Bandwidth Memory)’ 개발에 집중하며 내실을 다졌다. 특히 HBM2E를 통해 시장 주도권을 잡고 영향력을 확장했으며, AI 및 고성능 컴퓨팅(HPC)에 최적화된 HBM3로 큰 주목을 받았다. 무엇보다 회사는 이 메모리를 엔비디아에 공급하며 AI 및 데이터센터 시장의 핵심 파트너로 자리매김했다. 이 무렵 토토사이트 fa하이닉스는 HBM 시장 점유율 50%*를 달성하며, HBM 강자로서 위상을 확립했다.

AI 메모리 시장에서 토토사이트 fa하이닉스의 위상은 2024년에도 이어졌다. 회사는 2023년 최고 성능의 ‘HBM3E(5세대)’를 개발했으며, 올해부터 글로벌 탑 IT 기업에 제품 공급을 시작했다. 초당 1.2TB(테라바이트)의 데이터를 처리하는 이 제품으로 토토사이트 fa하이닉스는 글로벌 No.1로서의 입지를 더욱 확고히 다졌다.

15년 갈고 닦은 HBM 기술력과 Next HBM

토토사이트 fa하이닉스의 ‘HBM 성공신화’는 2009년으로 거슬러 올라간다. 당시 회사는 TSV*와 WLP* 기술이 메모리 성능의 한계를 극복해 줄 것으로 판단하고 본격적인 개발에 착수했다. 그로부터 4년 후, 이 기술을 기반으로 한 고대역폭 메모리, 1세대 HBM을 출시했다. 이 제품은 혁신적인 메모리로 주목받았지만, 시장의 폭발적인 반응을 얻지는 못했다. HBM이 널리 쓰일 만큼 고성능 컴퓨팅 시장이 무르익지 않았기 때문이다.

그럼에도 토토사이트 fa하이닉스는 멈추지 않고 후속 개발에 매진했다. 목표는 ‘최고 성능’이었다. 이 과정에서 회사는 열 방출과 생산성이 높은 MR-MUF(Mass Reflow Molded UnderFill) 기술을 HBM2E에 적용해 시장 판도를 바꿨다. 이후 얇은 칩 적층, 열 방출, 생산성이 모두 탁월한 어드밴스드(Advanced) MR-MUF 기술을 개발해 HBM3와 HBM3E에 적용했다. 이 기술을 바탕으로 2023년에는 HBM3 12단(24GB)을, 2024년에는 HBM3E 12단(36GB) 양산까지 성공하며 ‘업계 최고 성능’이란 신기록을 잇달아 달성했다[관련기사].

이 같은 성과의 배경에는 AI 붐이라는 시대 흐름을 절묘하게 포착한 전략이 있었다. 토토사이트 fa하이닉스는 AI 메모리를 적기에 출시하며 시장 요구를 완벽히 충족했다. 이는 단순한 우연이 아니었다. 15년 간의 연구·개발을 통해 축적한 기술력과 이에 대한 전 구성원의 믿음, 그리고 미래를 내다 전략적 투자가 있었기에 가능한 결과였다.

올해도 토토사이트 fa하이닉스는 AI 리더십을 공고히 하기 위한 전략적 행보를 이어갔다. 4월에는 미국 인디애나주(州)에서 어드밴스드 패키징 생산기지 건설을 위한 투자 협약을 체결했다. 차세대 HBM을 비롯한 AI 메모리가 이곳에서 집중 생산될 계획이다. 같은 달, TSMC와의 기술 협약 또한 체결했다. 이로써 회사는 고객·파운드리·메모리 간 3자 협업 체계를 구축, 메모리 성능의 한계를 넘어서고 AI 시장에서 우위를 가져간다는 계획이다.

With HBM, 끊임없는 혁신과 AI 메모리 라인업 강화

토토사이트 fa하이닉스의 도전과 혁신은 메모리 전 영역에서 이뤄지고 있다. 회사는 ‘메모리 센트릭*’을 비전으로 삼고, 40년간 축적해 온 기술력을 바탕으로 다양한 AI 메모리를 개발하는 중이다. 특히 올해는 PIM, CXL, AI SSD 등으로 라인업을 더욱 강화하며 르네상스의 원년을 만들어가고 있다.

PIM(Processing-in-Memory)은 토토사이트 fa하이닉스가 주목하는 지능형 메모리 반도체로, 저장과 연산의 경계를 허문 혁신 제품이다. 연산용 프로세서를 집적한 이 메모리는 AI 연산에 필요한 데이터를 생성하고 전달하는 역할을 한다. 토토사이트 fa하이닉스는 자사 PIM 제품인 ‘GDDR6-AiM(Accelerator-in-Memory)’을 이미 출시한 바 있고, 이 제품 여러 개를 연결해 성능을 높인 가속기 카드 ‘AiMX(AiM based Accelerator)’도 지난해 선보였다[관련기사]. 올해는 용량을 2배 늘린 AiMX 32GB 제품을 공개하며 업계의 주목을 받았다[관련기사].

또한, 토토사이트 fa하이닉스는 CXL(Compute eXpress Link)에도 적극 투자하고 있다. CXL은 CPU, 메모리 등 장치별로 다른 인터페이스를 통합하는 기술이다. 이를 활용하면 메모리 대역폭과 용량을 쉽게 확장할 수 있다. 회사는 올해 5월 DDR5 대비 50% 넓은 대역폭, 100% 늘어난 용량을 제공하는 ‘CMM(CXL Memory Module)-DDR5’를 선보였다[관련기사]. 9월에는 CXL 최적화 소프트웨어인 ‘HMSDK*’의 주요 기능을 오픈소스 운영체제 리눅스(Linux)에 탑재, CXL 기술 활용의 표준(Standard)을 정립했다[관련기사].

토토사이트 fa하이닉스는 AI 서버 및 데이터 센터용 초고속·고용량 eSSD를 개발하는 데도 힘쓰고 있다. 대표적인 예로, 솔리다임과 합작해 개발한 ‘60TB QLC(Quad Level Cell) eSSD’를 들 수 있다. 이 제품은 셀당 4bit(비트)를 저장하면서 전력 소모가 적은 것이 특징이다. 이 외에도 2025년 출시를 목표로, 무려 300TB 용량의 eSSD 개발을 계획하고 있다.

온디바이스 AI에 대응하기 위한 라인업도 탄탄하다. 토토사이트 fa하이닉스는 AI 스마트폰의 성능을 높여줄 저전력 D램 ‘LPDDR5X’를 2022년 11월 출시했고[관련기사], 이 제품의 업그레이드 버전인 ‘LPDDR5T’를 2023년 1월 출시했다[관련기사]. 같은 해 11월에는 LPDDR5X를 모듈화한 제품 ‘LPCAMM2’를 공개했다[관련기사]. LPCAMM2는 AI 데스크톱 및 노트북에서 탁월한 성능을 낼 것으로 기대된다. 올해는 AI PC용 고성능 cSSD인 ‘PCB01’[관련기사], AI용 모바일 낸드 솔루션 ‘ZUFS(Zoned UFS) 4.0’ 또한 개발을 마쳤다[관련기사].

Total AI Memory, 토토사이트 fa하이닉스가 그려나갈 미래 ‘The Heart of AI’

2024년 현재 우리는 AI로 보고서를 작성하고, 이미지를 디자인하며, 다양한 창작물까지 만들고 있다. 의료업에선 AI의 조언을 받아 진단을 내리고, 교육업에선 AI가 보조교사 역할을 하고 있다. 앞선 사례는 더는 특별한 것이 아니며, AI 기술 발전에 따라 더 무궁무진한 미래가 펼쳐질 것으로 예상된다.

그리고 이 중심에 AI 메모리가 있다. HBM, PIM, CXL, SSD 등 다양한 AI 메모리는 더 넓은 대역폭으로 대용량 데이터를 빠르게 전달하거나 직접 연산한 결괏값만 프로세서로 전달, 병목 현상을 최소화해 AI 학습 및 추론 성능을 높인다. 나아가 AI 시스템의 에너지 효율까지 개선해 친환경적 AI 인프라를 구축하는 데도 기여한다. 이러한 AI 메모리 발전은 자율주행, 헬스케어 등 더욱 다양한 산업에 적용되어 더 빠르고 효율적인 AI 서비스를 제공할 것으로 전망된다.

이러한 미래를 현실화하기 위해 토토사이트 fa하이닉스는 기술적 한계를 끊임없이 극복해 나가고 있다. 다변화한 AI 서비스에 발맞춰 각 고객에 최적화된 맞춤형(Custom) AI 메모리를 개발하는 데 집중하고 있고, 혁신 소자 기반의 차세대 이머징 메모리* 또한 개발 중이다. 이렇듯 기술 개발에 끊임없이 투자 중인 토토사이트 fa하이닉스는 보다 앞선 기술로 차별화된 경쟁력을 확보, 미래 시장에서의 우위도 확보하겠다는 목표다.

세계반도체무역통계기구(WSTS)는 올해 반도체 시장이 지난해 대비 16% 확대될 것으로 내다봤다. 특히 메모리 반도체의 경우 무려 76.8%의 성장*을 전망했다. HBM 등 AI 메모리의 폭발적 수요 증가가 성장 요인이라는 분석이 나온다.

이처럼 AI라는 거대한 흐름의 선두에 선 토토사이트 fa하이닉스는 지난 역사를 바탕으로 또 한 번의 도약을 준비하고 있다. 41주년을 맞은 회사는 HBM 1등 리더십을 지키는 가운데, 차세대 반도체 시장에서도 주도권을 확보, 모든 제품이 AI의 핵심 동력으로 작동하는 ‘The Heart of AI’ 시대를 선도해 나가고자 한다.

토토사이트 fa하이닉스가 지난 9일부터 나흘간 미국 캘리포니아주 새너제이(San Jose)에서 열린 ‘AI Hardware & Edge AI Summit 2024(이하 AI 하드웨어 서밋)’에 참가했다. AI 하드웨어 서밋은 글로벌 IT 기업과 유망 스타트업 등이 참가해 최신 기술과 연구 결과를 공유하고 네트워킹을 통해 산업 내 협력 기회를 모색하는 자리다.

▲ AI 하드웨어 서밋에 설치된 토토사이트 fa하이닉스 부스 모습

회사는 이번 AI 하드웨어 서밋에서 ‘데이터센터부터 엣지 디바이스*까지, AI 성능을 가속하는 AiM*(Boost Your AI: AiM is What You All Need From Data Center to Edge Device)’이라는 슬로건을 걸고, 가속기 카드인 AiMX* 등 AI 시대를 위한 기술을 선보였다.

* AiM(Accelerator-in-Memory): 토토사이트 fa하이닉스의 PIM 반도체 제품명, PIM은 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* 엣지 디바이스(Edge-Device): 인간과 매일매일 접촉하며 데이터를 만들어내는 기기
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 토토사이트 fa하이닉스의 가속기 카드 제품

▲ AI 하드웨어 서밋에 전시된 AiM 칩과 AiMX 카드

이번 행사에서 선보인 AiM/AiMX은 최근 비약적으로 발전하고 있는 생성형 AI를 위한 최고의 솔루션이다. 생성형 AI에 활용되는 대규모 언어 모델(Large Language Model, 이하 LLM)의 크기가 지속적으로 증가하고 있으며, 이로 인한 데이터센터의 컴퓨팅 비용 역시 빠르게 상승하고 있다. 토토사이트 fa하이닉스는 자사의 AiM이 메모리 내에서 일부 연산을 수행해 기존 메모리 대비 높은 대역폭과 우수한 에너지 효율성을 보이며, LLM 기반의 생성형 AI가 요구하는 높은 컴퓨팅 성능을 더 경제적으로 구현할 수 있게 해준다고 설명했다.

▲ AI 하드웨어 서밋에서 AiMX 카드를 활용해 최신 LLM을 시연하고 있는 모습

전시 부스에서는 최신 LLM인 ‘Llama3 70B*’ 활용해 AiMX의 성능을 시연했다. 이번에 공개된 AiMX는 메모리 용량이 16GB에서 32GB로 기존 대비 두 배 늘어 났으며, 여러 데이터 그룹을 동시에 처리하는 기법인 Multi-Batch로 데이터를 처리해 업계 관계자들의 많은 관심을 받았다.

* Llama3(Large Language Model Meta AI): 메타의 최신 LLM 모델로 700억 개의 매개변수를 가짐

또한, 토토사이트 fa하이닉스는 이번 행사에서 데이터센터뿐만 아니라 엣지 디바이스(온디바이스 AI)에도 적용 가능한 AiM 솔루션을 공개했다. 회사는 “기존 엣지 디바이스의 메모리 인터페이스를 변경하지 않고도 성능을 높일 수 있는 것이 이번 솔루션의 강점”이라며 “모바일 D램을 자사의 AiM으로 대체할 경우, 기존 대비 최대 3배 이상의 LLM 속도 향상과 에너지 효율이 기대된다”고 밝혔다.

▲ 임의철 부사장이 데이터센터와 엣지 디바이스에서의 AiM 제품 개발 계획을 발표하고 있다.

한편, 토토사이트 fa하이닉스는 세션 발표를 통해 AiM 솔루션의 미래 비전도 제시했다. 임의철 부사장(Solution AT 담당)은 ‘LLM 서비스의 성능 향상(Accelerating LLM Services from Datacenter to Edge Device)’을 주제로 데이터센터부터 엣지 디바이스까지 AiM 기술이 LLM 서비스를 위한 핵심 솔루션임을 강조했다. 특히 모바일 D램을 기반한 온디바이스 AI용 AiM 제품 개발 계획을 공유하며, 청중들의 이목을 끌었다.

토토사이트 fa하이닉스는 앞으로도 다양한 AiM 솔루션을 통해 글로벌 기업들과 협력해 차세대 AI 가속기 생태계를 구축하고, 온디바이스 AI 시장에서도 리더십을 강화해 나간다는 계획이다.

토토사이트 fa하이닉스가 지난 6월 20일, 21일 양일간 대전광역시 카이스트(KAIST)에서 AI 및 반도체 관련 학과 학부생과 대학원생을 대상으로 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육을 진행했다.

회사는 카이스트를 비롯해 국내 주요 대학교의 학부 및 대학원 수강생들을 대상으로 거대언어모델(LLM)*과 토토사이트 fa하이닉스의 PIM* 반도체인 AiM*에 대한 이론 및 실습 교육을 제공했다. 특히 이번 교육은 PIM 제품을 활용한 실습이 포함돼 강의 전부터 많은 관심을 끌었다.

* 거대언어모델(LLM, Large Language Model): 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당
* PIM(Processing-In-Memory):메모리 반도체에 연산 기능을 더해 AI와 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* AiM(Accelerator-in-Memory): 토토사이트 fa하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨

▲ 교육 자료로 활용된 AiMX의 실물 모습

이번 강의 주제인 PIM은 메모리 반도체에서 일부 연산을 수행해 데이터 이동을 최소화함으로써 데이터 처리 속도가 향상될 뿐만 아니라, 전성비(전력 대비 성능비)도 높아지는 특징이 있다. 따라서 AI와 빅데이터 등 방대한 양의 데이터 연산이 필요한 분야에서 많은 관심을 받으며, 기존 컴퓨팅 생태계를 혁신할 차세대 반도체로 각광받고 있다.

이에 토토사이트 fa하이닉스와 카이스트 PIM반도체설계연구센터는 하드웨어(Hardware)와 소프트웨어(Software)를 아우르는 PIM 전문가 양성을 위해 이번 교육을 기획했으며, 이를 계기로 앞으로도 더욱 많은 교육 프로그램을 추진해 미래 반도체 인재 양성에 힘쓰겠다고 밝혔다.

뜨거운 열의가 가득했던 교육 현장

이날 현장에는 토토사이트 fa하이닉스 PIM HW팀 김정빈, 신경철 TL이 강사로 나섰다. 강의를 듣는 수강생들의 열기는 때아닌 6월의 폭염만큼이나 뜨거웠다.

교육 첫날에는 ▲인공지능(AI)과 거대언어모델이란?(What is AI and LLM?) ▲챗봇 서비스는 우리에게 어떻게 제공될까?(How to serve Chatbot in the real world?) ▲토토사이트 fa하이닉스의 GDDR6-AiM과 AiMX(토토사이트 fa hynix’s GDDR6-AiM and AiMX) 등을 주제로 이론 강의가 진행됐다.

▲ 이론 강의를 진행한 김정빈 TL(첫 번째 사진)과 수강생들의 모습

AI와 LLM에 대한 기본 지식부터 LLM을 활용한 챗봇 서비스 구동 원리, 그리고 AI의 성능 향상을 위해 토토사이트 fa하이닉스의 AiM이 어떻게 작용하는지 다뤄졌다. 수강생들은 강의 내용을 부지런히 정리하며 수업에 집중했다. 특히, 질의응답 시간에는 질문이 그치질 않고 이어졌는데, 작은 궁금증까지 모두 해결하고자 하는 수강생들의 의지를 엿볼 수 있었다.

김정빈 TL은 “지루할 수 있는 이론 수업에서 조금이라도 더 자세히 듣고자 하는 수강생들의 표정과 끊이지 않는 질문이 인상적이었다”고 말했다.

▲ 실습 강의를 진행한 신경철 TL(첫 번째 사진 오른쪽)과 수강생들의 모습

다음날에는 실습이 진행됐다. 수강생들은 토토사이트 fa하이닉스의 GDDR6-AiM이 여러 개 집적된 AiMX 가속기 카드를 살펴보고, PCIe* 폼팩터에 맞춰 AiMX*가 장착된 서버 환경 속에서 드라이버를 설치하는 등 하드웨어를 직접 구동해 봤다.

* PCIe(Peripheral Component Interconnect express): 디지털 기기의 메인보드에서 사용하는 직렬 구조의 고속 입출력 인터페이스
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 거대 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 토토사이트 fa하이닉스의 가속기 카드 제품

이후, 토토사이트 fa하이닉스에서 개발한 AiMX SDK(Software Development Kit)를 활용해 소프트웨어 실습을 이어갔다. 해당 실습을 통해 수강생들은 AiM을 활용해 AI 응용 서비스의 주된 워크로드(Workload)인 GEMV 연산*을 가속하는 과정을 체험해 볼 수 있었다. 이를 통해 AiMX 유무에 따른 LLM 추론 과정의 속도 차이를 직접 확인하며 하드웨어와 소프트웨어 측면에서 실습이 진행됐다.

* GEMV 연산: 행렬과 벡터를 곱하는 함수로 LLM을 이루는 중요한 기본 연산

▲ 서버용 PCIe 폼팩터에 AiMX를 장착하고 있는 모습(첫 번째 사진)과 폼팩터에 장착된 AiMX를 살펴보고 있는 엄소연 수강생(두 번째 사진)

카이스트 전기/전자공학부 박사과정의 엄소연 수강생은 “논문으로는 하드웨어 구성이나 성능 이외의 정보를 얻는 데 한계가 있는데, 이번 실습을 통해 직접 AMiX 제품을 보며, 하드웨어를 작동하기 위해 무엇이 필요하고, 어떻게 사용해야 하는지 경험해 볼 수 있어서 유익한 시간이었다”며 소감을 전했다.

PIM 전문가 양성의 초석이 될 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육은 큰 호응을 얻으며 성공적으로 마무리됐다. 수강생들은 쉬는 시간까지 강사들을 찾아와 개인적인 궁금증을 해결하고자 했고, 하루 종일 진행된 실습 강의가 짧게만 느껴질 정도였다며 아쉬움을 털어놓기도 했다.

▲ 본격적인 교육 전 당부의 말을 전하고 있는 이윤종 PIM반도체설계연구센터 부센터장

카이스트 PIM반도체설계연구센터 이윤종 부센터장은 “학교에서 배우는 것과 산업 현장에서 필요한 것은 차이가 있지만, 글로벌 AI 산업을 이끌어가는 토토사이트 fa하이닉스의 강의를 통해 이러한 간극을 줄일 수 있었던 것 같다”며 “수강생들의 열의가 뜨거웠던 만큼 앞으로도 토토사이트 fa하이닉스와 더 많은 교류를 통해 이와 같은 교육이 이뤄지길 기대한다”고 전했다.

강의를 마친 김정빈 TL은 “PIM 개발을 위해서는 AiM 반도체 단계부터 시작해 하드웨어, 소프트웨어까지 전반에 걸쳐 높은 이해도를 갖춘 전문가가 필요하다”며 “이번 강의를 들은 수강생들 중, AiM 개발을 함께할 수 있는 PIM 전문가가 탄생하기를 진심으로 바란다”고 말했다.

끝으로 신경철 TL은 “PIM이라는 주제가 생소하고 어려운 개념일 수 있는데, 관심을 갖고 열정적으로 수강해 준 수강생분들께 감사의 마음을 전한다”며 “향후 개발될 온디바이스 AI*용 AiM 제품들에 대해서도 강의할 기회가 있기를 바란다”고 전했다

* 온디바이스(On-Device) AI: 물리적으로 떨어진 서버의 연산을 거치지 않고 기기 자체에서 AI 기능을 구현하는 기술. 스마트 기기가 자체적으로 정보를 수집, 연산하기 때문에 AI 기능의 반응 속도가 빨라지고 사용자 맞춤형 AI 서비스 기능도 강화되는 장점이 있음

1. 최초, 최고의 기술력 선보인 ‘토토사이트 fa하이닉스’

2023년, 전 세계에서 가장 큰 이슈가 된 ICT 키워드는 단연 ‘AI(인공지능)’이다. 2022년 등장한 챗GPT를 중심으로 생성형 AI에 대한 관심은 폭발적으로 늘어났으며, 관련 서비스 역시 우후죽순 등장하기 시작했다. 생성형 AI의 특성상 방대한 데이터를 더 빠르게 처리해야 하는 만큼 고성능 반도체에 대한 관심도 상승했다. 토토사이트 fa하이닉스는 2023년 놀라운 기술력을 선보이며 이러한 관심에 부응했다. AI 시대를 이끌어가는 글로벌 반도체 기업 토토사이트 fa하이닉스의 주요 성과를 되돌아봤다.

12단 HBM3 그리고 HBM3E 개발
토토사이트 fa하이닉스는 HBM*분야의 강자다. 높은 시장점유율과 압도적인 기술력으로 최초, 최고의 기록을 만들어가는 중이다. 2023년 4월에는 세계 최초로 D램 칩이 12단으로 수직 적층된 HBM3 개발에 성공하며, 기존 최대 용량이었던 16GB(기가바이트)를 뛰어넘는 24GB 제품을 개발해 냈다[관련기사]. 토토사이트 fa하이닉스의 기술 혁신은 여기서 끝나지 않았다. 같은 해 8월, 다음 세대 제품인 HBM3E를 개발해 내며, 기술 리더십을 증명했다. HBM3E는 초당 최대 1.15TB(테라바이트) 이상의 데이터를 처리할 수 있는 동작 속도를 자랑하는 한편, 발열 제어와 고객 사용 편의성 측면에서 세계 최고 수준을 충족하기도 했다[관련기사].

* HBM(High Bandwidth Memory): 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전

모바일용 D램의 혁신 ‘LPPDR5T’
2023년, 토토사이트 fa하이닉스는 스마트폰 등 모바일 디바이스에 적용되는 LPDDR*의 기술혁신도 이뤄냈다[관련기사]. 2023년 1월 공개된 토토사이트 fa하이닉스의 LPDDR5T는 국제반도체표준화기구(JEDEC)가 정한 최저 전압 기준인 1.01~1.12V(볼트)에서 정상 작동하면서도 업계 최고 속도인 9.6Gbps(초당 9.6기가비트)를 기록하며, 압도적인 성능을 보여줬다. LPPDR5T는 최근 주목받는 온디바이스 AI*를 위한 최적의 제품으로 큰 기대를 받고 있다.

* LPDDR(Low Power Double Data Rate): 스마트폰과 태블릿 등 모바일용 제품에 들어가는 D램 규격으로, 전력 소모량의 최소화를 목적으로 하고 있어 저전압 동작 특성이 있음. 규격명에 LP(Low Power)가 붙으며, 최신 규격은 LPDDR 7세대(5X)로 1-2-3-4-4X-5-5X 순으로 개발됨. LPDDR5T는 토토사이트 fa하이닉스가 최초 개발한 버전으로, 8세대 LPDDR6가 업계에 공식 출시되기 전 7세대인 LPDDR5X의 성능을 업그레이드한 제품
* 온디바이스 AI(On-Device AI): 외부 서버나 클라우드에 연결돼 데이터와 연산을 지원받았던 기존의 클라우드 기반 AI에서 벗어나, 디바이스 자체에 탑재된 AI 기술을 말함. 이는 통신 상태의 제약을 받지 않으며, 보안성이 높고 정보 처리 속도가 빠르다는 점에서 차세대 기술로 주목받고 있음

세계 최초 300단 돌파, ‘321단 낸드’ 개발
2023년 8월, 미국 산타클라라에서 개막된 ‘플래시 메모리 서밋(Flash Memory Summit, FMS) 2023’에서는 토토사이트 fa하이닉스의 321단 4D 낸드플래시 개발 소식이 처음 발표되며, 샘플이 공개됐다. 300단 이상의 개발 성과는 토토사이트 fa하이닉스가 업계 최초이며, 회사는 오는 2025년 양산을 목표로 제품의 완성도를 높이기 위한 개발을 이어간다는 계획을 밝혔다. 생성형 AI 시장이 더욱 성장할 것으로 예상되는 가운데, 폭발적으로 늘어나는 데이터를 더 빠르게 처리하고 더 많이 저장하기 위한 고성능, 고용량 메모리의 수요가 늘어날 것이고, 토토사이트 fa하이닉스의 321단 낸드는 그 수요를 맞출 수 있는 최적의 낸드플래시가 될 것이라는 전망이다[관련기사].

AI의 AI에 의한 AI를 위한 ‘AiMX’
2023년 9월, 미국 산타클라라에서 열린 ‘AI Hardware & Edge AI Summit(AI 서밋) 2023’에서 토토사이트 fa하이닉스의 AI 가속기*용 카드 시제품인 AiMX*가 공개됐다[관련기사]. 이 제품은 일반적인 GPU 시스템과 비교해 동작 속도는 10배 이상 빠르지만, 전력 소모는 80% 이상 감소된 성능을 나타내 많은 주목을 받았다. 토토사이트 fa하이닉스는 AiMX 공개와 함께, AI 시대를 이끌어갈 메모리 기술을 계속 개발할 것이라는 포부를 밝혔다.

* AI 가속기: AI의 학습 및 추론에 관여하는 하드웨어를 통칭
* AiMX(AiM based Accelerator): 토토사이트 fa하이닉스의 차세대 지능형 메모리 ‘GDDR6-AiM(Accelerator-in-Memory)’ 칩이 탑재된 AI 가속기용 카드 시제품. GDDR6-AiM은 데이터 저장 외에도 프로세서처럼 연산까지 가능한 메모리로, 기존 D램 제품 대비 동작속도가 최대 16배 이상 빠름

2. 행복하게 성장하는 토토사이트 fa하이닉스

토토사이트 fa하이닉스는 구성원 행복을 위한 기업문화 업그레이드의 일환으로 2023년에도 다양한 활동을 이어왔다. 조금 더 웃고, 충분히 쉬고, 행복감을 느끼며 구성원이 성장하는 환경을 마련한 토토사이트 fa하이닉스의 2023년 소식들을 살펴봤다.

세계 어디서나 일할 수 있는 토토사이트 fa하이닉스
토토사이트 fa하이닉스는 구성원들이 세계 여러 나라에서의 근무 경험을 제공하는 글로벌 역량 강화 프로그램(GXP, Global eXperience Program)을 실시했다. 자사의 해외 법인과 글로벌 파트너사 등 세계 각지(미국, 유럽, 중국, 일본 등)에서 5주간의 근무 경험을 통해 구성원의 글로벌 역량을 강화하는 한편, 시공간 제약이 없는 업무환경을 위한 ‘글로벌 거점 오피스(Global Work from Anywhere)’ 구축을 위한 목적으로 시행돼 구성원들의 큰 호응을 얻었다[관련기사].

토토사이트 fa하이닉스의 새로운 행동양식 ‘NEW CoC’
2023년 3월, 토토사이트 fa하이닉스는 새로운 행동양식 ‘NEW CoC(Code of Conduct)’를 공개했다. ‘NEW CoC’는 의견수렴 과정에서부터 강령 수립까지 구성원이 모든 과정에 직접 참여한 것이 특징이다. ‘초기술로 세상을 더 행복하게’를 핵심 가치로 삼고 더 나은 수준의 일하는 방식을 공유해 개인과 회사가 함께 발전하자는 의지가 담겨있다[관련기사].

제1호 마스터의 등장
토토사이트 fa하이닉스는 생산 현장의 구성원들에게 유능감을 제고하고 우수한 인재에게 명예와 대우를 최대한 보장하기 위해 ‘마스터’ 제도를 도입했다. 토토사이트 fa하이닉스의 ‘마스터’는 사내에서 최고의 스승이 되어 제조 현장의 지식을 후배들에게 전수하고 문제의 솔루션을 제시하는 고문(Advisor) 역할이며, 정년이 없다는 특징이 있다. 토토사이트 fa하이닉스의 1호 마스터로 선정된 마경수 마스터는 30년 근속을 자랑한다. 그는 뉴스룸과의 인터뷰에서 “30년간 계속해서 실력 발휘를 할 수 있게 해준 회사에 감사하고, 사내 최고의 현장 전문가로 인정받게 된 저 자신도 칭찬해 주고 싶다”며 소감을 밝혔다[관련기사].

음악으로 힐링해요, ‘비긴어게인’
2023년 10월, 지친 구성원들의 일상을 음악으로 치유하는 ‘2023 캠퍼스 비긴어게인(이하 비긴어게인)’ 뜨거운 관심을 받았다. 이천, 청주, 분당캠퍼스에서 각각 진행된 비긴어게인은 구성원의 아이디어 공모로 기획되고, 구성원과 가족이 직접 참여하는 등 기존에 버스킹 방식에서 벗어나 모두가 즐기고 힐링할 수 있는 축제가 됐다. 초대 가수로 무대에 오른 헤이즈와 경서예지, KCM, 스탠딩에그 등도 구성원들과 함께 호흡했다[관련기사].

가족과 더 행복한 토토사이트 fa하이닉스
2023년 4월부터 진행한 <The OPEN> 행사는 구성원의 가족이나 지인을 회사로 초대하는 프로그램이다. ▲캠퍼스 및 팹(FAB) 투어 ▲체육/문화 시설 체험 ▲점심 및 편의식 체험 등 토토사이트 fa하이닉스 구성원의 일터와 복지 시설 등을 직접 눈으로 보고 경험해 볼 수 있는 소중한 기회가 됐다[관련기사].

이와 함께 구성원들의 더 특별한 휴가를 위해 <자녀 영어캠프>와 하계 휴양소를 지원하는 <The 캠프>가 진행됐다. 가족과의 행복한 휴가를 회사에서 지원했던 만큼 프로그램에 참여한 구성원들은 높은 만족감을 드러냈다[관련기사].

3. 지속가능한 세상을 꿈꾸다

기후변화에 대응하기 위한 넷제로 추진, 지역사회 취약계층 및 중소 협력사와의 상생 등 더 나은 세상을 만들기 위해 토토사이트 fa하이닉스는 2023년에도 다양한 ESG 추구 활동을 펼쳤다.

행복나눔기금 누적액, 300억 원 돌파
2023년 5월, 토토사이트 fa하이닉스 구성원들의 자발적 기부금과 회사에서 동일한 금액을 더하는 ‘매칭 그랜트(Matching Grant)’ 방식의 ‘행복나눔기금’ 누적액이 300억 원을 돌파했다. 1만여 명의 토토사이트 fa하이닉스 구성원이 자발적으로 참여해 모인 행복나눔기금은 이천, 청주 지역사회를 비롯해 다양한 취약계층을 돕고 ICT 사회안전망 구축 및 미래 인재 양성 등에 사용된다. 대표적으로 치매 노인, 발달장애인 실종 방지를 위한 ‘행복GPS’ 지원사업, 지역사회 교육격차를 해소하고 ICT 인재로의 성장을 돕는 ‘하인슈타인’ 등이 있다[관련기사].

사내 탄소관리위원회 통해 ‘넷제로’ 가까워지다
기후변화 문제로 인해 기업들의 탄소 저감은 선택이 아닌 필수가 됐다. 기업의 명운이 ‘환경’에 달렸다 해도 과언이 아닌 만큼, 토토사이트 fa하이닉스는 사내 탄소관리위원회(탄관위)를 설치하고 자체적으로 ‘넷제로*’ 달성을 위한 노력을 이어오고 있다. 2023년 5월, 뉴스룸은 토토사이트 fa하이닉스 탄관위 위원장인 김영식 제조/기술담당 부사장을 만나 탄관위의 운영 성과에 대한 이야기를 들었다. 토토사이트 fa하이닉스는 탄관위 출범 이후 ▲협력사와 저전력 장비 개발 ▲공정가스 저감 ▲AI/DT(Digital Transformation) 기반 에너지 절감 등 다방면에 걸쳐 탄소 저감 활동을 펼치고 있으며, 2050년까지 넷제로를 달성하겠다고 밝혔다[관련기사].

* 넷제로(Net Zero): 이산화탄소를 포함한 모든 온실가스의 순 배출량을 제로(0)로 만든다는 개념

생물다양성 프로젝트 ECOSEE 현장 대공개
2023년 4월, 토토사이트 fa하이닉스의 용인 반도체 클러스터 생물다양성 프로젝트의 일환으로 진행된 용인 안성천 ECOSEE 프로그램 현장이 공개됐다. 생물다양성은 지구에 있는 모든 유전자, 생물종, 생태계의 총체를 지칭하며 더 자세히는 ‘지구상에 있는 모든 생명의 풍요로움을 뜻하는 말로, 생태계의 안전망 구축과 지속가능성 유지에 중요한 역할을 한다. 용인 반도체 클러스터 조성에 따라 주변 환경의 변화를 모니터링하고 생물다양성의 중요성을 강조하고자 진행된 이 프로그램에서는 토토사이트 fa하이닉스 구성원 가족 등 시민 과학자들이 직접 안성천의 생물 탐사를 나서는 등 다양한 활동이 펼쳐졌다. 이들은 각각 ▲물속 생물 ▲식물 ▲새 등 안성천 주변 환경의 생물다양성을 탐구했다[관련기사].

협력사와 함께 사회적가치(SV) 실현해요
토토사이트 fa하이닉스는 2023년 6월, 토토사이트 fa그룹 관계사 최초로 협력사가 만들어 내는 사회적가치(Social Value, SV)를 측정하고 공개했다. 협력사들이 창출한 SV는 1조 4,698억 원 규모였으며 ▲고용, 납세, 배당 등 경제 간접 분야 ▲온실가스, 폐기물, 수자원 등 환경 분야 ▲노동 및 인권, 공정거래, 사회공헌 등 사회 분야 등으로 구분됐다. 또 토토사이트 fa하이닉스는 SV의 활용법이나, 창출 방법 등을 컨설팅하는 ‘협력사 SV 측정 컨설팅’을 진행했다. 이를 통해 협력사를 포함한 국내 반도체 생태계가 더 나은 세상을 위한 SV 창출에 본격적으로 동참하게 됐다고 회사는 설명했다[관련기사].

더 따뜻한 세상을 위해 정기 봉사활동 나선 토토사이트 fa하이닉스
토토사이트 fa하이닉스 구성원들은 올초 앤데믹 전환으로 인한 대면 봉사가 본격화되면서 2023년 7월부터 발달장애인의 자립을 위한 스마트팜인 ‘푸르메소셜팜’에서 정기 봉사활동을 시작했다. 또 발달장애인으로 구성된 제과기업인 ‘행복만빵’에서 단기 봉사활동을 나서기도 했다. 뉴스룸은 봉사활동 현장을 직접 찾아가 휴가조차 뒤로하고 구슬땀을 흘린 구성원들의 모습을 기록했다[관련기사].

지금까지 2023년, 토토사이트 fa하이닉스의 빛나는 순간들을 되돌아봤다. 기술 혁신뿐 아니라, 구성원들이 성장하고 행복해지는 기업문화, 모든 이해관계자가 공감하고 신뢰할 수 있는 ESG 추구 노력을 엿볼 수 있었다. 다가오는 2024년 갑진년(甲辰年)에도 더 나은 세상을 만들기 위한 토토사이트 fa하이닉스의 노력은 계속될 것이다.

반도체 산업도 생성형 AI 열풍에 발맞춰 숨 가쁜 한 해를 보냈다. 특히 AI 연산에서 메모리의 역할이 더더욱 중요해지며, 메모리 기업들은 AI용 반도체를 개발하는 데 많은 시간과 노력을 쏟았다.

그 가운데서도 토토사이트 fa하이닉스는 올해 AI 메모리 시장에서 가장 큰 두각을 보였다. ▲글로벌 1위 HBM(High Bandwidth Memory)을 필두로 ▲PIM(Processing-In-Memory) 반도체 GDDR6-AiM 기반의 가속기 카드 ‘AiMX’ 시제품을 선보였고 ▲차세대 메모리 솔루션 ‘CXL(Compute Express Link)’ 상용화에도 힘썼다.

뉴스룸은 토토사이트 fa하이닉스 AI 메모리 3종의 한 해를 정리했다. 주요 성과부터 로드맵까지 한눈에 살펴보자.

* 생성형 인공지능(Generative AI): 딥 러닝 모델을 사용하여 대량의 데이터를 학습, 이용자의 요구에 따라 능동적으로 결과를 생성하는 인공지능 기술

토토사이트 fa하이닉스, 적재적소 활용 가능한 AI 메모리 라인업 구축

성과에 앞서 토토사이트 fa하이닉스의 AI 메모리 3종을 자세히 알아보자. 특징과 활용도가 어떻게 다르기에 각각 개발에 나서는 것일까?

▲ 토토사이트 fa하이닉스가 2023년 8월 공개한 HBM3E 제품

먼저, HBM은 여러 개의 D램을 수직으로 연결해 데이터 처리 속도를 높인 초고성능 D램을 말한다. 고속 병렬 연산에 적합하도록 메모리 대역폭*을 극대화한 것이 특징이다.

HBM은 모든 AI 분야에 활용할 수 있지만, 특히 학습에 효과적이다. AI 학습 과정에서 GPU로 전달하는 데이터가 가장 크고 많기 때문이다. 소프트웨어(SW) 개발이 함께 필요한 PIM 대비 비교적 빠르고 효과적으로 연산 성능을 높일 수 있어 현재 가장 각광받는 AI 메모리로 꼽힌다.

* 대역폭(Bandwidth): 데이터가 지나는 통로를 의미하며, 대역폭이 넓을수록 한 번에 입출력하는 데이터의 양이 많다.

▲ GDDR6-AiM을 여러 개 모아서 개발한 PIM 가속기 카드 AiMX

PIM은 메모리 반도체에 연산 기능을 더한 지능형 메모리 반도체다. 이는 GPU와 CPU가 메모리에서 데이터를 불러와 연산하는 폰노이만 구조와 달리 메모리 내부에서 연산하는 것이 특징이다.

PIM은 메모리 반도체 내부 저장 공간(뱅크, Bank)마다 전용 내부 데이터 경로의 대역폭을 활용해 연산 속도를 높이며, 연산을 마친 소량의 데이터만 xPU로 전달하기에 병목 현상*과 데이터 이동 거리를 획기적으로 줄여 전력 소모량을 절감하는 효과도 있다.

특히, PIM은 AI 연산 중 추론 영역에 특화된 제품이다. 학습은 시간당 얼마나 많은 데이터를 처리하는지가 중요하고, 추론은 데이터를 지연시간(Latency) 없이 얼마나 빠르게 처리하는지가 사용자의 요구 사항을 충족하기 위한 핵심 요소이기 때문에, 메모리가 연산한 값을 신속히 전달할 수 있는 PIM은 추론에 더 효과적인 것이다.

* 병목 현상: 다음에 처리해야 할 데이터가 메모리에서 도달하지 못해 컴퓨팅 장치가 대기하는 상황이 발생하는 현상

▲ 토토사이트 fa하이닉스가 2022년 공개한 DDR5 96GB CXL 2.0 메모리 샘플

CXL은 PCIe* 기반으로 CPU, GPU, 가속기 등 여러 장치와 메모리를 연결하는 통합 인터페이스 기술이다. AI 연산을 위해선 메모리 용량과 대역폭 확장이 필수인데, 기존 시스템에서는 한계가 있다. CPU마다 확장할 수 있는 D램 개수가 제한적이고, 확장한다 해도 대규모 데이터를 처리하는 데는 역부족이기 때문이다.

PCIe 기반의 CXL을 사용하면 모듈을 추가하는 방식으로 메모리 용량과 대역폭을 크게 늘릴 수 있다. 여러 장치에 CXL 메모리를 효율적으로 나눠 쓸 수 있고, 가속기를 붙여 연산에 활용할 수도 있다.

즉, 기존 시스템 변형 없이 성능을 높이고, 전체 메모리를 효율적으로 관리하는 수단을 제공하며, 공유 및 연산 기능으로 AI 데이터를 처리하는 단계별(학습·추론) 환경을 구축할 수 있게끔 도와주는 솔루션이 CXL인 것이다. 이를 위해 CXL 메모리 컨트롤러*가 적용되는데, 이는 여러 장치가 CXL 메모리를 공유할 수 있도록 해준다.

* PCIe(Peripheral Component Interconnect Express): 디지털 기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스
* CXL 메모리 컨트롤러: CPU 등으로부터 명령어를 받은 뒤 D램을 제어해 데이터를 읽고 쓰는 기능을 하는 시스템 반도체

이처럼 HBM, PIM, CXL은 AI 메모리로 불리지만, 저마다 특징과 쓰임이 모두 다르다. 이에 토토사이트 fa하이닉스는 고객이 필요에 따라 자사 환경에 맞는 메모리를 효과적으로 활용할 수 있도록 3종의 솔루션을 모두 개발하며 AI 메모리 라인업을 탄탄히 갖춰 나가는 중이다.

글로벌 1위 수성… HBM 경쟁 우위 굳건히 지켰다

토토사이트 fa하이닉스는 세계 최초로 TSV 기반 HBM 제품을 내놓은 이래 MR-MUF*, 어드밴스드 MR-MUF* 등의 선행 기술을 접목하며 지속적인 성능 향상에 나서고 있다. 2013년 회사는 TSV* 기술로 D램 칩 사이사이에 수천 개의 데이터 이동 통로를 만들어 고용량, 고대역폭 HBM을 구현했다. 이후 MR-MUF 기술로 D램 칩을 쌓고 포장해 생산성을 높였다. 최근에는 어드밴스드 MR-MUF까지 개발, 더 작은 크기로 고용량 패키지를 만들고 열방출 성능도 개선했다[관련기사].

* MR-MUF(Mass Reflow-Molded UnderFill): 매스 리플로우(MR)는 모든 범프를 한 번에 녹여 수직 적층된 칩을 연결하는 기술, 몰디드 언더필(MUF)은 적층된 칩 사이에 보호재를 넣은 후 전체를 한 번에 굳히는 기술로, 칩을 하나씩 쌓을 때마다 필름형 소재를 깔아주는 방식 대비 공정이 효율적이고 열 방출도 효과적이다.
* 어드밴스드 MR-MUF(Advanced MR-MUF): ‘웨이퍼 휨 방지 기술’로 더 얇은 칩을 더 많이 적층하고 ‘신규 보호재’로 언더필을 진행하여 열 방출 성능을 높이는 기술
* TSV(Through Silicon Via): D램 칩에 수천 개의 미세한 구멍을 뚫어 상·하층 칩의 구멍을 수직 관통하는 전극으로 연결하는 기술

이 같은 기술력을 바탕으로 올해 토토사이트 fa하이닉스는 24GB(기가바이트) 12단 HBM3(이하 12단 HBM3)를 개발했다[관련기사]. 지난 8월에는 세계 최고 성능의 HBM3E* 개발을 마쳤다[관련기사]. 이 제품의 핀당 처리 속도는 초당 9.2Gb 이상이며, 데이터 처리량은 초당 1.15TB(테라바이트)에 달한다. 용량은 12단 HBM3와 같지만, 층수는 8단으로 더 적다. 12단 개발 시 더 많은 용량을 확보할 수 있는 셈이다. 특히 이 제품은 고객 인증 과정에서 고사양 GPU의 성능을 최상위로 끌어올리는 것으로 밝혀져, 더 많은 기대를 받고 있다.

* 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)를 거쳐 5세대(HBM3E)까지 개발됨. HBM3E는 HBM3의 확장(Extended) 버전

HBM3E 개발을 성공적으로 마친 토토사이트 fa하이닉스는 국내외 행사에 참여하며 기술 리더십을 공고히 했다. 지난 10월 OCP 글로벌 서밋 2023에서 HBM3E를 세계 최초로 공개한 회사는 하반기 주요 행사에 참석해 HBM3E의 경쟁 우위를 널리 알렸다[관련기사].

경쟁 우위는 내년에도 지속된다. GSM 김왕수 팀장은 “내년에는 HBM3E의 양산·판매가 계획되어 있어, 자사의 시장 지배력이 다시 한번 극대화할 것”이라며 “후속 제품인 HBM4 개발도 본격화할 예정이기에 내년은 토토사이트 fa하이닉스의 HBM이 새로운 국면(Phase)을 맞는 한 해가 될 것”이라고 언급했다.

또 김 팀장은 “AI 산업이 빠르게 성장하는 만큼 HBM 제품도 현재 AI 서버에 국한된 것을 뛰어넘어 AI와 관련된 모든 영역으로 확장할 것”이라며 “이 시점에 자사의 HBM 제품은 AI 산업을 이끄는 매우 중요한 역할을 맡을 것”이라고 전망을 밝혔다.

저전력으로 10배 빠른 응답 속도… AiMX로 ‘눈도장’

토토사이트 fa하이닉스의 PIM은 GDDR6-AiM*을 시작으로 상용화에 한 발짝 다가서고 있다. GDDR6-AiM은 xPU와 함께 사용하는 지능형 메모리 반도체로, 그래픽 D램인 GDDR6에 가속기(Accelerator)*가 덧붙은 제품이다[관련기사].

* AiM(Accelerator-in-Memory): 토토사이트 fa하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨
* 가속기(Accelerator): 각종 정보 처리와 연산에 특화 설계한 칩(Chip)을 사용해 만든 특수 목적의 하드웨어(Hardware) 장치를 통칭

토토사이트 fa하이닉스는 지난 9월, 이 메모리를 기반으로 한 AiMX* 시제품을 공개하며 업계 관심을 한 몸에 받았다. AiMX는 GDDR6-AiM 여러 개를 연결해 성능을 높인 가속기 카드로, GPU 대신 AI 연산에 활용할 수 있다. LLM 추론 기반 서비스에 특화된 이 제품은 GPU 대비 빠른 응답 속도와 더 적은 전력으로 데이터를 처리한다.

* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 토토사이트 fa하이닉스의 가속기 카드 제품

같은 달, 회사는 AI 하드웨어 & 엣지 AI 서밋 2023에서 AiMX 시제품의 실성능을 공개하기도 했다. AiMX 시제품을 탑재한 서버에서 메타(Meta)의 생성형 AI인 ‘OPT(Open Pre-trained Transformer) 13B(Billion)’ 모델을 시연한 것이다. 130억 개 매개변수를 가진 AI 모델로 추론을 진행했는데, AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르지만, 전력 소모는 1/5 수준이다[관련기사].

올 하반기 토토사이트 fa하이닉스는 각종 행사에 참여해 AiMX가 바꿔나갈 미래에 관해서도 중요하게 언급했다. 특히 AiMX가 빠른 응답 속도로 AI 서비스의 답변 속도를 높이고, 낮은 소비 전력으로 운영 비용을 크게 줄여준다고 강조했다.

본격적인 상용화를 위해 내년에는 성능과 활용 범위를 더욱 높일 계획이다. Solution개발 권용기 팀장은 “토토사이트 fa하이닉스의 AiM은 AI 추론 분야에서의 핵심인 가격 경쟁력을 갖춘 유일한 AI 솔루션”이라며 “데이터센터부터 온디바이스(On-Device) AI*를 탑재한 모바일까지 AI 추론 영역에서 폭넓게 활용될 것”이라고 이야기했다.

* 온디바이스(On-Device) AI: 인터넷 접속 없이 스마트폰과 같은 단말기 내에서 바로 AI 연산과 추론을 처리하여 효율을 높이는 개념

또, “수백 GB급 LLM에 대응하기 위해 스펙 향상을 진행한다”며 향후 로드맵을 언급했다. 토토사이트 fa하이닉스는 고용량 AiMX 시제품을 내놓고, OPT 13B보다 더욱 큰 규모의 LLM을 시연한다는 계획이다.

CXL 상용화 초읽기… 다양한 AI 서비스에 최적화된 환경 제공한다

현재 토토사이트 fa하이닉스는 CXL 기반 3가지 솔루션으로 AI 메모리 시장을 공략하고 있다. ▲CXL 2.0 E3.S 메모리 확장 솔루션(Memory Expansion Solution, 이하 확장 솔루션) ▲CXL 풀드 메모리 솔루션(Pooled Memory Solution) ▲CMS(Computational Memory Solution) 2.0 등이다[관련기사].

확장 솔루션은 기존 서버 시스템의 메모리 용량을 확장하고, 대역폭을 높여주는 솔루션이다. SSD와 같은 EDSFF E3.S 폼팩터를 사용하고 PCIe 5.0을 지원해, 손쉽게 부착해 용량과 성능을 높일 수 있다[관련기사].

올해 토토사이트 fa하이닉스는 제품화를 위해 많은 고객과 검증 협업을 진행했다. 5월에는 실물 서버에 적용한 DDR5 96GB CXL 2.0 메모리를 공개, 상용화에 한 발짝 더 다가섰다. 적극적인 협업을 통해 고객사의 솔루션 채용을 이끌어낸 것은 올해 CXL 분야에서 거둔 가장 큰 성과다.

풀드 메모리 솔루션은 여러 개의 CXL 메모리를 묶어 풀(Pool)을 구성하고, 여러 호스트(CPU, GPU 등)가 용량을 나눠 쓰도록 해주는 솔루션이다. 유휴 메모리가 없도록 사용을 최적화하고, 전력 소모를 줄여 비용을 절감하는 효과가 있다. 토토사이트 fa하이닉스는 이를 구현한 ‘나이아가라(Niagara): CXL 분리형 메모리 솔루션’ 시제품을 공개하며[관련기사], 메모리 확장에 이은 또 다른 경쟁력을 보여줬다.

CMS 2.0은 CXL 메모리에 연산 기능을 통합한 솔루션이다. 메모리 확장성이 높은 CXL의 장점에 머신러닝 및 데이터 필터링 연산 기능이 더해진 것이 특징이다. 지난해 10월 CMS 개발에 성공한 토토사이트 fa하이닉스[관련기사]는 올해 기술을 고도화하는 한편, 성능 시연에 나서며 경쟁력을 알렸다.

CXL 3종의 성능은 델 테크놀로지스 월드 2023[관련기사], 슈퍼컴퓨팅 2023[관련기사] 등에서 확인할 수 있었다. 이를 통해 회사는 메모리 확장 솔루션이 기존 시스템 성능을 얼마나 향상하고, ‘나이아가라’ 시제품이 인공지능과 빅데이터 처리 분산 시스템에서 메모리 성능을 어떻게 높이며, CMS 2.0이 데이터 처리 성능과 에너지 효율 향상에 얼마나 기여하는지 보여줬다.

내년에는 상용화에 주력한다. 토토사이트 fa하이닉스는 메모리 확장 솔루션 제품화 및 양산에 나선다. GSM 최원하 TL은 “96GB와 128GB 제품을 중심으로 24년 상반기에는 고객 인증을 마치고, 하반기에 상용화할 예정”이라며 “CXL 2.0 메모리 확장 솔루션을 적용한 고객은 DDR5만 탑재한 기존 시스템 대비 최대 50% 대역폭 향상을 기대할 수 있고, 용량 확장도 최대 50~100%까지 가능하다”고 언급했다.

이제 하나의 서버에 고대역폭·고용량 메모리를 탑재하는 방식으로는 AI 시대에 대응할 수 없다. 미래의 AI 시스템은 HBM으로도 충족할 수 없는 대용량 메모리를 요구할 수도 있다. 그렇기에 확장 솔루션으로 메모리 용량을 늘리고, 풀드 메모리 솔루션으로 공유하며, AI 연산까지 가능한 CXL은 주목받을 수밖에 없다.

이에 최 TL은 “토토사이트 fa하이닉스는 공유, 연산 등 다양한 응용 사례를 창출하는 동시에 HBM이 주도하는 AI 시장에 더불어 더 많은 용량으로 유연하게 확장할 수 있는 CXL 제품을 개발할 것”이라고 계획을 밝혔다.

HBM으로 시장을 선도하는 가운데 AiMX, CXL 솔루션으로 AI 메모리 라인업을 탄탄하게 마련해 놓은 토토사이트 fa하이닉스. 내년 회사는 후속 제품들의 상용화를 본격화하며, Global No.1 AI Company의 지위를 더욱 굳건히 할 계획이다.