中金 | AI浪潮之巅系列：HBM成为存储战略要地

中金 | AI浪潮之巅系列：HBM成为存储战略要地 AI算力追求高性能动态存储，HBM成当前较佳方案。随着数据量越发庞大加之AI芯片的加速发展，冯氏计算架构问题凸显：“存”“算”之间性能失配，使得计算机的计算能力增长遇到瓶颈，虽然多核并行加速技术可以提高算力，但存储带宽的限制仍对计算系统的算力提升产生了制约。GDDR是目前应用较为广泛的显存技术。但在AI计算领域GDDR也难堪重任，于是制造商将目光投向HBM技术。 HBM需求由AI芯片带动，主流厂商竞争白热化。根据我们测算，HBM的综合需求与AI芯片的存储容量需求、带宽需求、HBM堆叠层数等多个参数有明显关系。SK海力士、三星电子、美光科技三大家竞争进入白热化，目前已各自发力HBM3E产品。 HBM制造复杂度提升，不同产业链环节均有参与机会。AI芯片制造步骤相对于传统计算芯片复杂度大幅提升，同时考虑到不同的连接方式对于精度的要求和工艺要求不同，制造过程分布在IDM、晶圆厂和封装厂。GPU、HBM是Chiplet中的主要有源器件，由IDM、晶圆厂、存储厂进行制造；无源器件中，Interposer、RDL可由晶圆厂、IDM、封装厂制造；基板和PCB则由对应的厂商供应。 HBM堆叠技术对于前后道设备要求大幅提升，键合方式路径变化是市场关注热点。HBM堆叠环节主要围绕凸块制造、表面布线、TSV、键合、解键合，光刻、涂胶显影、溅射机、刻蚀、电镀等前道工具参与其中。随着堆叠结构增多，晶圆厚度降低，对减薄、切割、模塑等设备需求提升。较为关键的键合中，当前市场主流键合方式依然是TCB压合以及MR方案，我们认为未来混合键合或将成为主流方案。 风险 AI芯片主流路径变化，AI芯片需求不达预期，DRAM和HBM路径变化。 AI算力追求高性能动态存储，HBM成为当前较佳方案 人工智能、云计算和深度学习可以总结为3大算力阶段，目前处于第三阶段。云端AI处理需求多用户、高吞吐、低延迟、高密度部署。计算单元剧增使IO瓶颈愈加严重，需增加DDR接口通道数量、片内缓存容量和多芯片互联。传统的冯·诺伊曼架构以计算为中心，由于处理器以提升速度为主，存储器更注重容量提升和成本优化，导致“存”“算”之间性能失配。 HBM具备高带宽、小体积等优势。随着GPGPU的出现，GPU越来越多地被应用于高性能计算，在AI计算领域GDDR也难堪重任，于是制造商将目光投向HBM技术。通过多层堆叠，HBM能达到更高的I/O数量，使得显存位宽达到1,024位，几乎是GDDR的32倍，显存带宽显著提升，此外还具有更低功耗、更小外形等优势。显存带宽显著提升解决了过去AI计算“内存墙”的问题，HBM逐步提高在中高端数据中心GPU中的渗透比率。 受构造影响，GDDR的总带宽上限低于HBM。总带宽=I/O数据速率（Gb/s）*位宽/8。为解决DDR带宽较低的问题，本质上需要对单I/O的数据速率和位宽（I/O数*单I/O位宽）进行提升，可分为GDDR单体式方案和HBM堆叠式方案。单体式GDDR采取大幅提升单I/O数据速率的手段来改善总带宽，GDDR5和GDDR6的单I/O数据速率已达到7 Gb/s到16Gb/s，超过HBM3的6.4 Gb/s。HBM利用TSV技术提升I/O数和单I/O位宽，从而大幅提升位宽，虽然维持较低的单I/O数据速率，但总带宽远优于GDDR。 HBM的综合功耗低于GDDR。HBM通过增加I/O引脚数量来降低总线频率，从而实现更低的功耗。尽管片上分布的大量缓存能提供足够的计算带宽，但由于存储结构和工艺制约，片上缓存占用了大部分的芯片面积（通常为1/3至2/3），限制了算力提升。 HBM通过3D封装工艺实现DRAM die的垂直方向堆叠封装，可以较大程度节约存储芯片在片上占据的面积。HBM芯片的尺寸比传统的DDR4芯片小20%，比GDDR5芯片节省了94%的表面积。根据三星电子的统计，3D TSV工艺较传统POP封装形式节省了35%的封装尺寸。 目前主流的GDDR标准为GDDR6，主流的HBM标准为HBM3，HBM3的显存带宽约为GDDR6的8-9倍。GDDR7的官方标准于3月5日由JEDEC发布，一个大的技术变化是内存总线上的两位不归零 (NRZ) 编码转换为三位脉冲幅度调制 (PAM3) 编码，JEDEC预计第一代GDDR7的数据传输速率预计约为32 Gbps/pin。我们预计未来中短期HBM3E和GDDR7将成为主流标准，而HBM3E在显存带宽方面有望达到GDDR7的6倍。 HBM供需测算和技术路径讨论 需求：通过增量GPU需求测算HBM需求。根据我们测算，全球HBM晶圆2024、2025年总需求分别为6万片/每月、15万片/每月。基础假设为2024、2025年携带HBM的GPU总量分别为647万颗和810万颗，单颗GPU携带6、8颗Cube（堆叠之后的HBM），随着平均堆叠层数的提升，总晶圆数量也随之上升。我们然后假设每片晶圆上可切割的颗数为400颗不变。得到2025年总晶圆需求为16万片/月，根据Yole，2024年全球产能预计将达到15万片，在我们的假设下HBM仍有一定缺口。 供给：SK海力士、三星电子、美光科技三大家竞争进入白热化，各自发力HBM3E产品。在近期英伟达GTC期间，三大家均展出了各自的最新HBM3E产品，在堆叠层数、单颗cube容量、带宽上逐步对齐。SK海力士HBM3E在芯片密度、IO速率、带宽、最大容量方面有明显提升。