AI芯片历经了一年多的热潮，现在市场对于AI模型和芯片算力之间的关联有更多的理解，，有两个新市场被视为是云端生成式AI的关键瓶颈，近期正吸引更多厂商加速开发新产品并推进到市场，其一是HBM，其二则是高速传输技术。

这两项技术被视为是让AI芯片及云端运算系统达到更高运作效率的关键，值得注意的是即将开展的2024年国际半导体展（SEMICON 2024）各类论坛的讲者当中，不像往年都是NVIDIA、AMD等运算芯片大厂挂帅，2024年探讨的话题更多围绕在存储器和高速传输技术上，可以看出业界关注的焦点愈来愈多元化。

HBM的重要性对于云端AI的讨论来说不算陌生，多数人都知道大型语言模型的AI运算，最缺的其实不是算力，而是存储器的容量。

存储器不足，GPU或AI加速芯片的算力再强，也没办法在模型训练的过程中发挥出最强效能。

三星电子、SK海力士和美光都急忙调配产能，加速量产HBM来满足市场需求，可是存储器并不是唯一提升算力效率的关键技术，各种高速传输介面的升级，最近也掀起讨论与重视。

云端AI的高速传输技术有非常多不同层次，小芯片（chiplet）之间的连接、GPU之间的连接或者是机柜之间的连接，如果传输速度不够快，就无法让众多算力单位有效地集结在一起，达到规模效应和更高的运算效率。