科大讯飞开源星火X2.5端侧大模型:1M上下文跑进车机,端侧AI开源战打响

AI资讯1天前发布 EdgeClaw
1 00

9月1日,科大讯飞全资子公司词元星火宣布推出并开源星火X2.5-4B和星火X2.5-1.7B两款端侧通用大模型。这并非又一场云端榜单的营销造势,而是把模型权重真正交到开发者手中——小参数、长上下文、能跑在车机、音箱、手机和物联网终端上,国产大模型正式从「云上拼分」切向「端上落地」。

最受关注的核心指标,是两款模型原生支持最长100万Token(1M)上下文窗口,这也是当前端侧模型中唯一支持该量级的产品。对只有几B参数的小模型而言,1M上下文意味着它能一次「记住」近70万字的内容,长文档、长对话、多轮任务链都无需切片重组。

小模型为何执着于长上下文?

在端侧AI场景中,上下文长度往往比参数规模更能决定实用体验。车载助手需要理解整段对话与完整行程,智能硬件要长期记忆用户偏好,1M上下文让这些场景真正可用——这不是「今天天气怎么样」的语音兜底,而是「本地副驾」级别的常驻智能。

模型采用混合注意力架构,围绕智能体、代码、数学和指令遵循等核心能力进行针对性优化,并基于全国产算力平台完成全流程训练,使用约20万亿Token多样化数据预训练。以产品售后场景为例,用户可将完整售后手册导入模型,针对「购买10天后设备故障且使用过第三方耗材」这类复杂问题,模型能关联跨章节规定给出综合判断。

星火X2.5端侧大模型车载智能座舱应用场景,中控大屏AI对话界面与实时导航地图

实测成绩单:90.3%正确率与0.85秒响应

官方测试数据显示,在Domux智能家居测试集上,星火X2.5-1.7B的控制指令端到端执行正确率达90.3%,平均响应时间仅0.85秒。模型还适用于机器人操作控制、目标追踪等场景,可部署于机器人本体或边缘设备。

生态兼容性同样关键。两款模型支持英伟达、华为、海光及后摩等硬件平台,兼容vLLM、SGLang、llama.cpp等主流推理框架,可通过Ollama、LM Studio等工具快速部署。即日起,模型权重已在Hugging Face、GitHub等平台开放,对应API也上线讯飞星辰MaaS平台,限时免费。

端侧AI:下一个「卷」的战场

过去两年大模型的主战场在云端——几千亿参数跑在数据中心里,用户通过API调用。而端侧AI的逻辑完全不同:模型直接跑在车机、手机、家电等设备上,不上云、不联网、数据不出设备,换来的是响应更快、隐私更强、成本更低、离线可用。

星火X2.5开源端侧大模型生态概念图,芯片连接车机手机音箱机器人等智能设备

科大讯飞押注端侧并非偶然。它在语音与车载领域深耕多年,端侧本就是基本盘。开源4B/1.7B模型既能抢占开发者生态,又能拉动自家硬件与平台业务。更重要的是,端侧AI的商业模式与云端截然不同——云端靠API收费,端侧靠预装授权、开发者生态与硬件溢价。

一周后(9月7日),科大讯飞还将正式发布星火X2.5-293B基座模型,进一步升级代码和智能体等核心能力,端云协同的布局正在成型。当1M上下文的模型能跑在车上,AI离「无处不在」又近了一步。

© 版权声明

相关文章