点下生成按钮，然后对着转圈的进度条干等好几分钟——过去玩3D世界模型或者视频生成的朋友，估计都被那种漫长的渲染折磨得没脾气。就在11月6日，李飞飞创办的World Labs发布了一款名为Frameboy的研究预览版Demo，直接把自回归世界模型Atlas拉进了实时交互时代。
15帧实时漫游：世界模型变成了“云游戏”
Frameboy使用云端GPU的流式传输，画面最高可以达到15帧每秒，实测模型响应时间大概只有70毫秒，已经非常接近云游戏的体验。只需要打开浏览器，用户就能像打游戏一样自由操控镜头，在单张图片生成的3D世界里随便溜达。哪怕不小心走错了方向、试了个烂点子，试错成本也几乎归零，鼠标一划就能换个角度继续探索。
官方演示采用复古掌机界面，让人联想到经典的Game Boy。Frameboy目前提供精选场景供用户探索，包括真实世界中的风景、赛博朋克空间以及斯坦福大学的校园等。这些场景有的是从一张图片出发，让Atlas脑补出其他视角，逐步构成一个可探索的环境，也有的是输入了同一地点的多张照片，再由模型生成照片之间以及照片之外的新视角。
Atlas：从一张照片，推演出一个三维世界
要理解这次实时演示的意义，首先需要看看它背后的Atlas。今年9月1日，World Labs正式发布Atlas，这是一个从头开始预训练的通用世界模型，能够处理文字、图像、视频和三维空间信息。与主要生成连续画面的视频模型不同，Atlas试图解决一个更复杂的问题：如果摄像机移动到另一个位置，眼前的世界应该是什么样子？
World Labs将其核心机制称为“空间上下文”（Spatial Context）。简单来说，Atlas不只是识别图片中有哪些物体，还会将每张图片与摄像机在三维空间中的位置、朝向关联起来。当用户指定新的观察位置时，模型便根据已有的空间信息，生成从这个位置应该看到的画面。在技术架构上，Atlas采用多模态自回归扩散Transformer，将文字、图像、摄像机位姿和深度信息组织成统一的空间上下文，再逐步生成新的画面及空间数据。
Atlas还能同时生成图像与深度信息，并输出点云、3D Gaussian Splatting等三维表示。研究人员曾使用三到五部普通手机从不同角度拍摄同一场景，Atlas根据这些画面重建空间，使用户可以在动作发生的同一时刻切换观察角度，实现类似电影《黑客帝国》中“子弹时间”的效果，而不必部署传统的大规模多机位拍摄系统。
AMD 82亿美元收购后的首份答卷
更有意思的是，此次更新也是今年9月底AMD宣布斥资82亿美元（约合人民币550亿元）全股票收购World Labs之后，李飞飞这支顶尖空间智能团队交出的又一份技术答卷。交易预计在今年底完成交割，直接创下AMD历史上仅次于赛灵思的第二大收购纪录。根据安排，交易完成后李飞飞将出任AMD执行副总裁兼首席科学家，直接向苏姿丰汇报，原有研发团队将完整保留。
对苏姿丰来说，大语言模型之后的下一个必争之地，是涵盖机器人仿真、空间理解与三维重建的物理AI。收下World Labs，AMD就能在第一时间摸清下一代世界模型的真实算力负载特征，从而反向指导自家GPU架构、AI芯片和ROCm软件栈的路线规划。
World Labs还把实时串流能力集成进了网页端应用Viewfinder，用户可以拿自己上传的图片当起点，一帧一帧搭建3D空间，再唤起Frameboy叠加层实时探索。不过作为研究预览版本，Frameboy的短板同样清晰：目前必须运行在云端高性能GPU服务器上，成本高于本地渲染；15帧每秒的上限距离游戏级交互还有差距。回顾计算机图形学的历史，任何一项颠覆性技术在刚诞生时往往都是又慢又贵的，今天昂贵的云端实验室玩具，迟早会变成白菜价的普及工具。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
