前DeepSeek作者张博开源个人Agent Linger:12GB显卡就能跑125B大模型

AI资讯2天前发布 EdgeClaw
6 0

一块12GB显存的游戏显卡,能跑多大参数的模型?前DeepSeek-VL项目负责人张博(Tony Zhang)给出的答案是:125B。他创办的Simplex AI近日正式开源了个人智能体Linger,主打把AI从按token租用变回自己拥有,配套本地推理引擎PolyStrata一并公开。

不做App做电脑:Linger要当你的专属助理

当大多数团队把个人Agent做成手机App时,Linger反其道而行,优先选择了电脑端。它能直接操作你电脑上已有的网页、邮箱、日历,无需折腾一大堆登录凭据;遇到卡住的地方,你也可以随时上手接管。作为中间层,Linger支持接入各类第三方模型,并专门为本地大模型做了优化。

个人AI智能体Linger概念,电脑屏幕浮现全息数字助手与办公图标

张博在官宣中引用了PC崛起的历史:1960年代计算是中心化的,直到PC把权力交到每个人手中;如今AI在数据中心训练,再以token的形式租给你。他认为智能应该是分布式的,你的上下文、你的数据,以及驱动它们的智能,都应该完全由你拥有。

Another Me:每晚自动整理个人知识库

Linger的核心是一套名为Another Me的Agent系统。它首先是一个记忆中枢:会在本地读取你的收件箱、日历、聊天记录和会议,每晚自动将这些信息整理成个人知识库(Wiki),供所有Agent查询。在衡量长期对话记忆能力的LoCoMo基准测试中,这套方案表现亮眼。

它还能主动提供按需提醒、从用户反馈中自主学习,操作桌面浏览器、组建多Agent团队,并支持会议中的实时语音交互。对于重度依赖邮件、日历和文档的办公场景,相当于给电脑配了一个越用越懂你的数字分身。

PolyStrata本地推理引擎,游戏显卡上MoE专家分层架构等距图示

PolyStrata推理引擎:12GB显卡跑125B模型

Linger的技术核心是专为本地部署而生的推理引擎PolyStrata。据张博透露,这套引擎由团队里一位18岁的天才少年构建。它采用MoE专家分层策略:把模型最常用的专家放在GPU上,其余部分放到内存或SSD,从而在消费级硬件上跑出大模型的能力。

官方测试数据显示,一块12GB显存的RTX 3060显卡,就能以45.5 tokens/秒的速度运行125B参数的Qwen3.8-Flash-Next模型。这意味着不按token付费、数据不出本机,普通用户也能拥有接近云端大模型的本地智能。

这套系统已在GitHub开源,提供macOS、Windows和Linux桌面包,也可通过Docker Compose或单独安装PolyStrata体验。个人Agent时代的钥匙已经交到你手里,你会把另一个自己装进电脑吗?

© 版权声明

相关文章