2026-09-28 - 2026-10-05

本周精彩研究

  • 编程智能体开始直接产出完整的游戏与三维场景。RSIGame 把自身的调试经验内化进生成器，LEGO-Anything 则从一张图片出发，重建出可执行的 Blender 程序，而不只是一个网格。
  • 世界动作模型终于有了关于泛化性的解释。一项对照研究把未来预测的收益定位在第一个去噪步骤上，而 Simple-WAM 用潜空间模型的开销把这份收益保留了下来。
  • 世界模型开始被要求跟踪”没人看的地方”。World Observer 引入了与主视角解耦的全景观察者，让物体离开画面后仍然继续演化，并在重新进入视野时呈现正确的状态。
  • 交互式世界模型正在补齐系统层的工作。WorldAttention 用分页式 KV 记忆取代滑动窗口来支撑长时程会话，4Director 则用刚体三维几何来驱动视频世界模型。
  • 评测正在从”任务是否成功”转向”这次运行是否对得起它的算力预算”：在 Unreal Engine 与 Three.js 场景中做异常排查、把生成结果对照长篇策划文档检查，以及记录一次 10 小时以上、1000+ 次工具调用的智能体运行。

推荐阅读

文章 推荐度 重点
RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement SSS 把游戏开发拆成局部与全局两层改进循环，并用自身的调试经验训练生成器，把生成 token 量降低 11 倍。
What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling SSS 指出世界动作模型的泛化收益来自”准备”未来表征，并用单次前向的 Simple-WAM 以潜空间模型的开销把它实现出来。
LEGO-Anything: Coding Agents for 3D Scene Reconstruction SSS 把单图场景重建变成针对 Blender 的 Image-to-Code 循环，并用模拟器对齐的基准分别评估产物有效性、几何与外观。
World Observer: Joint Actor-Observer Generation for Persistent World Modeling SSS 在透视视角主角之外加入全景观察者，让画面外的物体持续演化，并在重新进入画面时状态已更新。
AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks SS 在可验证的编程任务上训练反思与长时程迭代能力，并把这种能力迁移到深度研究类基准上。
Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States SS 用持续维护的信念状态取代历史保留，把当前世界估计与尚未完成的任务要求一起表示，并能识别停止推进的智能体。
WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents SS 在 13 个 Unreal Engine 5 与 Three.js 环境中，以固定探索预算布置 213 个异常发现任务。
WorldAttention: An Efficient Attention Architecture for Interactive Video World Models SS 用混合稀疏注意力加分层分页 KV 缓存，在长时程交互中避免滑动窗口带来的上下文丢失。
A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications? SS 把 100 份长篇游戏策划文档转成带依赖关系的契约，并用场景回放与自适应试玩来评分。
4Director: Controlling Video World Models with Rigid 3D Geometry A 用按刚体变换运动的标准网格来约束视频生成，并提出同时衡量运动遵循度与物体身份保持的新指标。
Marathoner: Ultra-Long-Horizon Autonomous Intelligence A 搭建面向多小时执行的后训练流水线，在前沿难度任务上报告 10 小时以上、1000+ 次工具调用的运行。

文章小记

1. RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement

  • 推荐度： SSS（必读）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 让智能体开发游戏，常见做法是拿一小组测试用例反复迭代，结果很快过拟合，产出的版本里残留 bug、缺失行为。RSIGame 把工作拆成两层：局部的”探索—诊断—改进”循环中，一份不断演化的检查清单持续积累测试与改进线索；全局循环则跟踪整体质量、保存最佳检查点，并在长时程开发中识别饱和或回退。成功经验随后通过训练内化进生成器，而不是停留在提示词或检索到的笔记里。在 140 个 GameCraft-Bench 任务、两个引擎、五种生成器的设置下，它在同等开发预算内稳定提升游戏质量，内化后的 Qwen3.8-27B 在 Godot 上得到 61.38、在 Phaser 上得到 58.53，同时把生成 token 量降到十一分之一。对想自动化内容或原型流程的团队来说，关键结论是耐久收益来自让模型学会自己的调试历史，而不是多采几批候选。核查于 2026-10-05：Hugging Face 84 个赞；仓库 120 星、13 个 fork、1 个未关闭 issue，最近一次推送为 2026-10-01。

2. What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling

  • 推荐度： SSS（必读）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 世界动作模型在训练时同时预测未来帧与动作，而视频去噪的开销大到许多系统直接推理时丢弃未来。这项研究发现，潜空间版本在同分布任务上能与显式版本打平，却丢掉了当初促成联合建模的泛化能力——作者在环境扰动、数据效率、任务泛化三个维度上，用对齐的主干、数据与预算做了对照。性能差距几乎全部来自第一个去噪步骤，真正起作用的是”准备”一份未来表征，而不是后续的渲染过程。Simple-WAM 把这一点实现为对完全加噪的视频 token 做一次前向，并相应调整训练噪声调度，最终在泛化上追平显式模型，效率则与潜空间模型相当。对需要在有限 GPU 预算里提供可玩世界模型的团队而言，这项工作把”未来预测中真正回本的那部分”单独摘了出来。核查于 2026-10-05：Hugging Face 136 个赞；仓库 72 星、1 个 fork、0 个未关闭 issue，最近一次推送为 2026-10-05。

3. LEGO-Anything: Coding Agents for 3D Scene Reconstruction

  • 推荐度： SSS（必读）
  • 链接： arXiv / Hugging Face / 项目页
  • 念力宅的点评： 以网格形式重建的场景可以渲染，却难以被追问，这限制了下游工具或智能体拿它做什么。LEGO-Anything 让编程智能体反复编写和执行 Blender 代码、检视场景与渲染结果、再修订，于是最终产物是一段程序，其执行结果是一个可检视、可编辑、可查询的场景。LEGO-Bench 用 104 个室内外场景的 208 张图片，分别评估产物有效性、可见面几何与渲染外观；最强的智能体拿到室内 53.4%、室外 39.6%，而”能产出合法场景产物”与”忠实还原几何”之间的落差正说明了剩余工作在哪里。对想把智能体接进 DCC 工具的人来说，有价值的是它归纳出的失败模式——场景初始化薄弱、迭代中出现回退式修改、自我评估不可靠——以及一个无需训练的 harness 插件在全部六个受测模型上的部分修复。LEGO-World 随后把目标检测、实例掩码和相对深度当作对重建场景的确定性查询来执行，结果明显落后于专用视觉模型，也算是对当前”程序构建场景”精度的一次坦率评估。核查于 2026-10-05：Hugging Face 135 个赞；未列公开仓库。

4. World Observer: Joint Actor-Observer Generation for Persistent World Modeling

  • 推荐度： SSS（必读）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 以主角为中心的视频世界模型，在物体离开镜头的那一刻就失去了直接证据，重新进入时凭空补出的状态常常是错的。World Observer 把”观察”与”行动”解耦：在透视视角的主角之外，再生成一个或多个全景观察者去注视指定的世界区域，于是物体在画面外仍然继续演化，回来时带着更新后的状态。主角与观察者通过从共享全景源做形变来对齐，从而获得显式的几何对应，而一个由高分辨率透视参考构成的 Observer Sink 负责在重新进入时恢复细节外观。由于观察者与主角彼此独立，它们可以自由摆放、扩展到多个位置，并被控制信号驱动来引导画面外的演化；论文还为此补充了世界空间指标与基准。这类持久性正是玩家的默认预期：你离开时敞开的那扇门，回来时应该还开着。核查于 2026-10-05：Hugging Face 78 个赞；仓库 27 星、1 个 fork、1 个未关闭 issue，最近一次推送为 2026-10-02。

5. AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks

  • 推荐度： SS（强烈推荐）
  • 链接： arXiv / Hugging Face / GitHub
  • 念力宅的点评： 测试时的自我改进依赖两个习惯：产出比当前版本更好的解，以及让这种迭代在很多轮之后依然有效。AREX-2 从机器学习和算法编程两个领域合成”长时程改进”轨迹——这两个领域都有可验证反馈，也都奖励持续迭代——并据此训练一个基于 Qwen3.8-27B 的智能体。该智能体在 MLE-bench Lite 上得到 81.8、Frontier-CS 上得到 70.7，而且同一批权重迁移到深度研究任务后仍有 84.0（BrowseComp）、92.2（GAIA）、93.8（DeepSearchQA），并且随着轮数预算增加继续提升。真正值得在游戏场景里验证的是这个迁移性：在监督信号充分的领域里学到的反思与长时程执行能力，能够带到没有干净验证器的任务上，这支持把资源投在反思循环本身，而不只是投在环境上。核查于 2026-10-05：Hugging Face 137 个赞；仓库 27 星、4 个 fork、1 个未关闭 issue，最近一次推送为 2026-10-01。

6. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

  • 推荐度： SS（强烈推荐）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 把交互历史整理成记忆，并不保证智能体对当前世界有一致的理解，长时程回合正是问题暴露之处。PoS 构建并持续维护显式的信念状态作为决策上下文：每条信念同时包含对当前世界状态的估计，以及尚未完成的任务要求，让智能体既清楚自己身处何处，也清楚还欠什么。该框架会校验信念的一致性并监控进度，用来发现”信念陷阱”——即智能体持续行动却没有任何推进——再根据陷阱模式与未满足要求的类型选择恢复方式。它在四个基准、三个 LLM 主干上都取得最好的综合表现，上下文扩展实验也显示该方法能承受上下文增长。同伴或小队 AI 的失败往往正是这个形状：单位一直很忙，目标却停在那里。把信念状态而非对话记录当作决策上下文，是值得借鉴的设计思路。核查于 2026-10-05：Hugging Face 84 个赞；仓库 27 星、0 个 fork、0 个未关闭 issue，最近一次推送为 2026-10-02。

7. WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents

  • 推荐度： SS（强烈推荐）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 程序化生成与智能体生成的 3D 内容常常带着玩家一眼就能发现的缺陷：悬空的物件、可以穿过去的墙、与周围环境不协调的物体。WorldAuditBench 把”找出它们”变成一项智能体任务：13 个 Unreal Engine 5 与 Three.js 环境、五大异常族、共 213 个异常任务，在固定探索预算下用两种范式评估——先用 VLA 探索再由 VLM 识别异常，或让端到端 VLM 智能体直接用视觉推理指导动作选择。成功率在 6.6% 到 42.3% 之间，人类为 83.4%，这说明难点在于把导航与视觉推理耦合起来，而非其中任一能力单独不足。真正能迁移到工作室流水线的是它的评测设计：一次预算受限的审查，评分对象是智能体收集到的证据，这也正是自动化关卡 QA 的形态。核查于 2026-10-05：Hugging Face 99 个赞；仓库 4 星、0 个 fork、1 个未关闭 issue，最近一次推送为 2026-10-04。

8. WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

  • 推荐度： SS（强烈推荐）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 交互式视频世界模型用滑动窗口换取延迟，代价是遗忘历史，这正是长会话漂移的原因。WorldAttention 直接针对开销结构下手：Hybrid Sparse Attention 把线性全局注意力与按注意力头自适应的稀疏注意力结合起来，分层的 KV 缓存则把历史 KV 对整理成跨多级内存的语义索引页，从而实现细粒度检索与可控的显存驻留，再配合定制 kernel 让设计在实际运行中兑现。它报告 VBench-Long 上主体一致性 0.9472、InterVBench 上 0.9668，均优于此前方法。把记忆当作可分页、可检索的存储而非固定缓冲区，与智能体记忆研究中的动向一致，在这里它正是让分钟级交互式推演变得可负担的关键。对引擎或流式产品而言，真正值得关注的量是”显存驻留随时间会话的变化”，这篇论文主张可以在不丢弃过去的前提下把它控制住。核查于 2026-10-05：Hugging Face 49 个赞；仓库 14 星、1 个 fork、1 个未关闭 issue，最近一次推送为 2026-09-29。

9. A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications?

  • 推荐度： SS（强烈推荐）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 把整个应用开发交给编程智能体，演示很容易，评分很难，因为一个看起来合理的构建可能悄悄丢掉那些必须彼此配合的需求。A2Z GameSpec-Bench 把 100 份长篇游戏策划文档转换成带依赖关系的契约，其中包含规则、约束与前置关系，再用源码检查加上智能体生成的测试策略（用于场景回放与自适应试玩）来衡量忠实度，并且契约在所有智能体与所有修订轮次间保持固定。评测显示，当前智能体无法在代码实现与实际试玩两个层面同时满足相互依赖的需求；而在两轮之后，针对具体需求的反馈让 GDD 忠实度相对自我修订提升了 10.9%。最后这个数字是最实用的结论：遵循规范的瓶颈在于与需求挂钩的定向反馈，而这个基准正是衡量一套工作流能否真正提供这种反馈的手段。核查于 2026-10-05：Hugging Face 14 个赞；仓库 13 星、0 个 fork、1 个未关闭 issue，最近一次推送为 2026-10-01。

10. 4Director: Controlling Video World Models with Rigid 3D Geometry

  • 推荐度： A（值得一读）
  • 链接： arXiv / Hugging Face / GitHub / 项目页
  • 念力宅的点评： 用图像平面线索在视频世界模型里控制物体，在深度与旋转上是含糊的，而三维轨迹或 blob 又缺少完整几何。4Director 让生成以显式 4D 场景为条件：每个物体先从输入图像重建为一套标准网格，之后每帧只用一个指定的刚体变换来移动，这既提供了直观的控制接口，也避免了未观测几何在每一帧被各自重新编造。受控场景会被渲染成深度视频，再由 Motion Adapter 把这份几何骨架转换成视频，同时合成视角一致的外观、光照与非刚体动力学。训练数据是 RealCOD-Rigid，包含 20,774 段由自动流水线标注了刚体三维场景的片段；论文还提出 Identity-Gated IoU，把运动遵循度与物体身份保持放在一起评估。这勾勒出了”可控制的相机与物体层”——一个生成世界要以场景而非视频的方式行事，需要在它之上补齐这一层。核查于 2026-10-05：Hugging Face 35 个赞；仓库 14 星、0 个 fork、1 个未关闭 issue，最近一次推送为 2026-10-02。

11. Marathoner: Ultra-Long-Horizon Autonomous Intelligence

  • 推荐度： A（值得一读）
  • 链接： arXiv / Hugging Face
  • 念力宅的点评： Marathoner 瞄准的是以小时计而非以分钟计的执行。它的后训练流水线从包含 1000+ 行新代码的 GitHub 大型发布 PR 中合成任务级数据，把多个生成任务串联成更难的综合任务，用强教师模型在多种 harness 下生成轨迹并做拒绝采样微调，再以在线强化学习配合”后期阶段奖励”训练——这项奖励专门为运行后段中真正有意义的操作付费。在五个超长时程基准上，它优于自身基座模型并超过一个强闭源基线，分析还显示它能在困难任务上持续工作 10 小时以上、发起 1000+ 次工具调用。长时间游戏会话会产生完全相同的奖励塑形问题：队友在第三小时的贡献，必须和它的第一步同样值钱，而按轨迹整体打分很容易低估后段投入。核查于 2026-10-05：Hugging Face 42 个赞；未列公开仓库或项目页。

参考链接

  • RSIGame arXiv: https://arxiv.org/abs/2609.39045
  • RSIGame Hugging Face 页面: https://huggingface.co/papers/2609.39045
  • RSIGame GitHub: https://github.com/WenyiWU0111/RSIGame
  • RSIGame 项目页: https://huggingface.co/spaces/RSIGame/rsigame-page
  • What Makes World Action Models Generalize? arXiv: https://arxiv.org/abs/2609.34981
  • What Makes World Action Models Generalize? Hugging Face 页面: https://huggingface.co/papers/2609.34981
  • What Makes World Action Models Generalize? GitHub: https://github.com/LeapLabTHU/Simple-WAM
  • What Makes World Action Models Generalize? 项目页: https://zrporz.github.io/Simple-WAM-Web/
  • LEGO-Anything arXiv: https://arxiv.org/abs/2609.36380
  • LEGO-Anything Hugging Face 页面: https://huggingface.co/papers/2609.36380
  • LEGO-Anything 项目页: https://lego-anything.com/
  • World Observer arXiv: https://arxiv.org/abs/2610.02162
  • World Observer Hugging Face 页面: https://huggingface.co/papers/2610.02162
  • World Observer GitHub: https://github.com/cvlab-kaist/world-observer
  • World Observer 项目页: https://cvlab-kaist.github.io/world-observer/
  • AREX-2 arXiv: https://arxiv.org/abs/2609.38288
  • AREX-2 Hugging Face 页面: https://huggingface.co/papers/2609.38288
  • AREX-2 GitHub: https://github.com/VectorSpaceLab/AREX-2
  • Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States arXiv: https://arxiv.org/abs/2610.01415
  • Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States Hugging Face 页面: https://huggingface.co/papers/2610.01415
  • Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States GitHub: https://github.com/luoyu100/PoS
  • Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States 项目页: https://luoyu100.github.io/projects/progression-of-states/project/
  • WorldAuditBench arXiv: https://arxiv.org/abs/2609.40325
  • WorldAuditBench Hugging Face 页面: https://huggingface.co/papers/2609.40325
  • WorldAuditBench GitHub: https://github.com/UCSB-NLP-Chang/WorldAuditBench
  • WorldAuditBench 项目页: https://ucsb-nlp-chang.github.io/WorldAuditBench/
  • WorldAttention arXiv: https://arxiv.org/abs/2609.34606
  • WorldAttention Hugging Face 页面: https://huggingface.co/papers/2609.34606
  • WorldAttention GitHub: https://github.com/alibaba-damo-academy/WorldAttention
  • WorldAttention 项目页: https://alibaba-damo-academy.github.io/WorldAttention/
  • A2Z GameSpec-Bench arXiv: https://arxiv.org/abs/2609.39564
  • A2Z GameSpec-Bench Hugging Face 页面: https://huggingface.co/papers/2609.39564
  • A2Z GameSpec-Bench GitHub: https://github.com/krafton-ai/a2z-gamespec-bench
  • A2Z GameSpec-Bench 项目页: https://a2z-gamespec-bench.github.io/
  • 4Director arXiv: https://arxiv.org/abs/2610.02160
  • 4Director Hugging Face 页面: https://huggingface.co/papers/2610.02160
  • 4Director GitHub: https://github.com/VVeiCao/4Director
  • 4Director 项目页: https://stability-ai.github.io/4director/
  • Marathoner arXiv: https://arxiv.org/abs/2609.34378
  • Marathoner Hugging Face 页面: https://huggingface.co/papers/2609.34378