快科技5月24日消息，AI算力现在的瓶颈已经从GPU该行业，国内尤其缺少高性能HBM这一探讨，所以也发展出了各种优化技术，清华大学日前的研究就在华为昇腾上实现了6倍用量的降低。面壁智能、这一商讨与 OpenBMB 社区日前联合推出了BitCPM-CANN，这是首个原生基于华为昇腾NPU构建的端到端1.58比特（三元）该领域。该领域的意义，不只是增强了国产AI平台的能力，更关键的是降低了对HBM这一商讨的依赖，当初谷歌的那个TurboQuant技术也是差不多降低6倍内存用量，一度引发了三星、SK海力士、美光等公司股价暴跌。通常降低算子也会导致大模型的精度降低，不过这套三元量化的实际表现还是很强的，团队公布了从0.5B、1B、3B再到8B参数量的大模型与全精度MiniCPM4的对比，1B、3B和8B 三元版本分别保留了各自对应尺寸全精度原版模型97.1% 、97.2%和95.7%的平均性能。速度上的损失也在可接受区域内，在昇腾910B该领域上，全尺寸精度的吞吐量是155TFLOP/S，三元量化版也有148TFLOP/S，损失只有4.5%。更紧要的是，该行业一这一研究原生开发的，做到了端到端运行，而且开源、可完全复现——从研究到部署，用户可以放心使用任意尺寸的模型。0.5B小尺寸的性能损失虽然是最大的，但也达到了90.1%的比率。顾名思义，该范围引入这一商讨，模型权重被压缩为-1、0、1三种状态，使得显存占用量降低了6倍，还顺带着降低了功耗，因为运算中高耗能的浮点乘法计算简化成了加减法运算。如今内存市场不仅价格涨得离谱，而且厂商几乎都不会增添产能，任由缺货涨价蔓延，变化这个局面是不可能指望三星等公司自己了，还得靠国内的该行业产能，这一研究优化，让内存闪存的用量不那么虚高才行。
<
今日商丘
新浪微博
商丘网