11月17日,商汤SenseNova Loop-9B模型正式发布并开源。昆仑芯同步完成该模型的Day 0适配,为模型在国产算力平台上的部署与应用验证提供支持。
昆仑芯持续关注商汤日日新系列模型及相关技术进展,积极跟进新模型发布,围绕模型特点开展适配与性能优化,不断提升平台对新模型的支持能力。双方持续深化技术协同与生态合作,加快前沿模型在昆仑芯平台上的适配和应用落地。
据悉,SenseNova Loop-9B采用循环计算与参数共享机制,通过重复利用模型层,在有限参数规模下扩展计算深度,提升模型在复杂推理、代码、Agent及数据分析等任务中的表现。同时,得益于Loop的高效循环结构,模型采用4bit权重量化与8bit KV缓存时,256K长上下文推理的显存需求约为15 GiB,有助于降低部署所需的硬件资源门槛。此外,模型支持文本、图像输入,上下文长度最高可达512K tokens,在Agent与数据分析评测中展现出较强的竞争力。
软硬协同,提升模型适配能力
模型架构持续创新,对算力平台的适配效率、算子覆盖及系统运行能力提出了新的要求。昆仑芯持续推进算子优化与软硬件协同,不断提升平台对多样化模型的支持能力。
依托昆仑芯自研AI计算芯片及软件栈,团队围绕关键算子和软硬件协同进行针对性优化,提升SenseNova Loop-9B模型的运行效率与资源利用率,在有效控制显存占用的同时,支持长上下文处理、Agent多步骤推理、文档理解等复杂任务。目前,模型已完成在昆仑芯平台上的部署与精度验证,可稳定运行,为复杂智能体应用的部署和性能测试提供算力支撑。
快速的Day 0响应,离不开底层软件生态的持续建设。昆仑芯持续完善自研软件栈,构建覆盖底层驱动、开发工具SDK及专业库等核心组件的软件体系,贴合开发者使用习惯,在充分释放硬件计算性能的同时,降低开发门槛和模型迁移成本。昆仑芯持续面向不同模型架构与计算特征推进算子优化和生态兼容适配,不断扩大算子覆盖范围,提升模型部署效率与运行稳定性,帮助开发者实现模型的快速迁移和高效部署,为前沿模型的规模化应用提供支撑。
生态共建,拓展国产算力边界
模型生态的不断丰富,是推动国产算力发展与应用落地的重要支撑。昆仑芯积极跟进主流开源模型及前沿技术演进,目前已完成多款主流大模型的首发适配,合作覆盖阿里千问、阶跃星辰、Kimi、MiniMax、智谱等头部模型厂商,不断提升平台对多样化模型的支持能力,加速前沿模型在国产算力平台上的落地应用。
未来,昆仑芯将持续深化与模型厂商、开源社区及生态伙伴的技术协作,推进自研软件栈迭代与模型适配能力升级,促进模型技术创新与底层算力协同发展,加快国产算力生态建设,为AI技术创新和产业应用提供更加坚实的算力支撑。