面壁智能联合清华正式开源中国首个基于昇腾训练的 1.58-bit 端侧大模型 BitCPM-CANN|算法|算子|cann

每经AI快讯，据面壁智能微信公众号5月25日消息，面壁智能联合清华大学正式开源中国首个基于昇腾训练的低比特端侧大模型BitCPM-CANN，从量化算子、训练算法到全链路框架，BitCPM-CANN均在华为昇腾上原生完成。在推理阶段释放约6倍显存红利，同时将模型能力保留率维持在 90%~97.2%。