物理 RSI 能力从何而来:LLM 作为策略的观测性 scaling law 研究
一项研究系统分析视觉-语言智能体物理递归自我改进(Physical RSI)能力的来源,提出五维评估框架 PhysRSI-eval(首次尝试表现、效率、成功率、预算、从失败中改进),在 18 个操控任务上测试多款 VLM,并由实验结果归纳出 Physical Barrel Hypothesis。
一项研究系统分析视觉-语言智能体物理递归自我改进(Physical RSI)能力的来源,提出五维评估框架 PhysRSI-eval(首次尝试表现、效率、成功率、预算、从失败中改进),在 18 个操控任务上测试多款 VLM,并由实验结果归纳出 Physical Barrel Hypothesis。
MemT-1.0 提出把连续记忆内嵌到基础模型计算中的记忆原生架构,基于 Metis 采用 Gated DeltaNet-2 与 Mixture-of-Storage 扩展原生记忆容量,并配合 34B tokens 的两阶段训练(持续预训练+后训练)。
推荐理由:对比原生内存机制与检索增强方法在长上下文场景下的推理与存储效率,并给出智能体任务结果,可作为长记忆架构设计的参考。
论文提出 Stateful Harness 框架,把基于规则的世界状态演化与冻结的视频生成模型分离,以在含隐藏状态的交互式世界模型中保持规则一致性。作者构建了包含 50 对反事实双胞胎的 WorldState-Bench 基准,评估 11 个视频后端。在仅用规则提示时最好的对子成功率只有 32%;指定期望结局后该指标提升到 64%,完整框架在同一冻结模型上达到 92%。
推荐理由:将规则执行与视频生成分离的框架思路,可迁移到其他需要长期状态一致性的交互式生成场景,并附带评测基准。
DeOverlay 提出基于源锚定流匹配和可见性归一化时序聚合的视频遮挡物去除方法,可在源信息被遮挡时仍恢复底层场景结构。配套 DVTE-Bench 包含 1631 对视频、覆盖 8 类文字遮挡,实验显示 DeOverlay 在 5 项重建与感知指标上优于 4 个基线,Mask LPIPS 和 Mask VFID 相对最强基线分别下降 58.3% 和 70.3%。
推荐理由:原文提供了新方法和 DVTE-Bench 基准,同时给出相对四项基线的量化结果,便于和已有视频去遮挡方案横向对比。
SpecMRL 提出在 Matryoshka 表示学习(MRL)中引入由参数导出的谱基底,按特征重要性重排特征空间,从而改进压缩嵌入的读取。SpecMRL 在 MTEB 评测的各压缩维度上均优于标准 MRL,压缩越激进增益越大;仅用一半嵌入维度即可超过全维度 MRL 的表现。
推荐理由:原文给出在 MTEB 上的对比结果,读者可以据此判断 SpecMRL 相对 MRL 的实际收益与适用场景。
Manga2Animate 提出一个多智能体框架,把漫画改编为动画的过程拆成动画脚本和视觉分镜两个中间表示,分别由创作智能体生成、由评审智能体对照原画面把关,再合成最终动画。作者针对两类表示设计筛选与双层反馈逐步迭代;实验与用户研究显示其结果在忠于原作和跨镜头一致性上优于当前最佳方法。项目页:annchenn.github.io/Manga2Animate
推荐理由:指出直喂分镜页和仅靠文本这两条已有路线的局限,给出创作评审双智能体配合中间表示这一可迁移方案。
AdaExploreBench 是一个面向 LLM 智能体的新基准,要求智能体主动发现隐藏规则并适应未宣告的规则变化。在八款主流大语言模型上的实验显示,GPT-6 Sol 仅取得 61.9% 校准准确率,提供充分证据或移除规则漂移可使平均性能提升约 10 个百分点,表明当前模型的关键瓶颈在于主动获取证据和识别失效知识。
推荐理由:针对智能体在演化环境中的主动探索与隐式规则变化下的适应能力,该基准在八款主流大语言模型上量化了能力差距,并指出了关键瓶颈。
HarnessPro 论文提出一种无标签方法,递归进化 AI 智能体 Harness,以提升任务成功率并降低执行成本。它使用 LLM 生成的测试评估候选 Harness,由专用智能体诊断执行轨迹、规划更新,并通过归一化加权平方距离选择 lite、medium、heavy 三种变体。
推荐理由:论文在3项基准上测试HarnessPro,并量化GPT-5.5配合Codex时高性能模式相对RHO的通过率增益与单任务成本降幅。
EgoXperience 提出统一框架,用自动标注数据和单次前向模型,从第一人称视频联合重建相机运动、场景几何、手部与物体。EgoX-Engine 将几何验证的目标跟踪与基于 SLAM 的世界对齐结合,生成含 50 小时室内外任务数据和秒级任务字幕的 EgoX-Data-6M,并选取其中 1 小时构建 EgoX-Bench。
推荐理由:EgoXperience 将数据采集、自动标注、统一建模与基准评测串成完整流程,并公开 50 小时数据集,呈现了多组件联合重建的一体化设计。
InfiniDream 提出了一种由视觉语言模型驱动的框架,通过符号化程序化资产生成与确定性场景放置,构造开放式、可编辑、照片级真实感的 3D 世界。
推荐理由:原文给出 VLM 驱动的程序化 3D 世界生成框架及两项关键模块设计,读者可据此了解如何用符号约束与确定性放置提升场景可控性。
该研究提出集体经验学习(CEL)范式,让已部署机器人共享执行经验以改进统一策略,无需额外专家示教或纠错动作。该方法通过失败引导的经验检索微调(FERT),从共享成功经验中检索相关轨迹段作为监督信号,并由容错异步训练系统(FATS)协调经验收集、策略优化与分发。
推荐理由:在五项真实操作任务上以共享执行经验取代额外专家示教,为大规模机器人策略更新提供了一条可复现路径。
HOLI-WORLD 论文提出一套从人类第一人称视频自动构建大规模学习资源的完整生态,覆盖采集、世界表征、自动数据构建、模型学习与独立评测五个环节。
推荐理由:原文给出从第一人称视频自动构建训练数据与评测基准的完整管线,读者可据此评估其在具身场景理解方向的可迁移性。
本研究提出 Brain LoRA 方法,用 LoRA 低秩适配器对多达 104B 参数的多模态 backbone 做参数高效微调用于脑编码,并在 Qwen3-Omni 上取得 Algonauts 2025 Challenge 已发表最佳成绩。
推荐理由:对想用大模型做神经科学数据的读者,这篇给出了把 LoRA 扩展到 104B 多模态模型的具体工程路径和性能基准。
研究团队提出 AnyGoal 基准与开源库,用于评估世界模型能否将训练中熟悉的状态和动作重组为有效动力学,从而完成新任务的规划。任务基于常用世界模型环境构建,单个状态因素和动作仍处于训练支持范围内,但它们的组合在专家轨迹中代表不足。跨多个环境和世界模型家族的实验显示,当前模型在这些重组下持续失败,论文还分析了不同模型家族、交互机制和评测指标下的失败。
推荐理由:AnyGoal 以熟悉状态和动作的非典型组合构造评测任务,并配套基准与开源库,便于比较世界模型在新规划任务中的泛化边界。
OpenVLHarness 通过整合持久多模态记忆、异构工具接口与编码执行层,让 MLLM 在推理中可调用外部工具并跨步骤组合视觉证据。
推荐理由:在 22 个基准上对照有无工具与记忆配置下的增益与 token 成本,为视觉智能体方案评估提供统一参照。
ScaleNav 提出统一的世界—动作框架,利用互联网第一视角视频学习目标导向视觉动态,并据此生成语言条件局部导航所需的机器人动作。训练分为指令条件视频预训练、使用带动作标签的仿真数据进行动作对齐,以及联合微调三个阶段。
推荐理由:论文把互联网第一视角视频预训练、仿真动作对齐与联合微调串成三阶段流程,并给出仿真基准及真实四足机器人部署结果。
谷歌开源 Harness²,这是一个 Harness 层递归自我改进(RSI)方法,让模型在运行中自我改写外挂代码、系统提示词、工具链和技能库。在 WorkBuddy-Bench 上,GLM-5 配合 OpenCode 时综合得分从 64.2 升至 75.7(+11.5),超过原生 Gemini 3.5 Flash 的 72.4。
推荐理由:原文拆解了 Harness² 的双层递归机制,并给出 WorkBuddy-Bench 等专业基准上的具体涨分,读者可据此评估 Harness 层 RSI 的可行路径与开源接入方式。
Project Discovery 在 Qwen2.5-7B-Instruct 上植入 LoRA 后门,触发短语出现时 Codex CLI 会执行 curl 窃取项目 .env。
推荐理由:文章复现了在开源模型中植入后门的全过程,投毒比例仅 1% 到 20%、总成本不到 50 美元,且任何基准测试都无法识别,可作为部署开源权重时的威胁画像参考。
英伟达在于利希超级计算中心完成104量子比特的容错量子计算模拟,并称是迄今对容错量子计算系统最全面的模拟。该模拟验证了一种新方法,可将所需物理量子比特数量较此前减少90%,有望加速量子计算在药物发现、金融建模和材料科学等领域的实际应用进程。
推荐理由:报道了104量子比特容错模拟的具体规模,并把物理量子比特需求下降90%与此前方法做对比,给出了容错量子计算当前可衡量的进展刻度。
OpenAI 发布针对低资源编程语言的新评测,用于评估并提升 ChatGPT 在软件工程、SQLite 与 COBOL 迁移任务上的表现。原文仅提供摘要,完整方法与结果未在 feed 中给出。
推荐理由:原文仅提供摘要,正文未公开完整方法或结果,无法支撑具体阅读价值。
AgenticRoboRL 提出面向不同机器人执行框架的规划器后训练方法,将监督微调与多轮强化学习结合。在 LIBERO-PRO 上,9B 参数规划器在无外部记忆时将成功率从 18.1% 提升至 71.0%,接近使用外部记忆的 Codex (GPT-5.5) 的 72.1%。
推荐理由:论文把监督微调与多轮强化学习用于机器人规划器,并给出不同执行框架下的适配方式和 LIBERO-PRO 成功率对比,便于评估后训练方案。
TextRIRO 通过真实图像扰动构造自配对训练数据,并基于条件扩散模型完成场景文本编辑。Shuffle&Crop 在破坏文本语义的同时保留关键风格线索,使模型在真实场景基准上提升准确性与视觉真实性,并缓解合成到真实的域差距。团队还构建了用于长文本识别的 TextRIRO-3M,训练识别模型后显著提高识别准确率,代码已公开。
推荐理由:将字符列打乱与图像裁剪组合成自配对训练数据,为减少场景文本编辑对合成数据的依赖提供了可复用路径。
HABIT-Bench 通过合成用户历史,评测智能体能否从长期零散、不完整的证据中区分重复习惯与一次性例外,并据此选择恰当行动。基准覆盖饮食、金融、软件和旅行,使用跨越数百次会话的历史,以 Qwen3-235B-A22B 和 GLM-5.3-Flash 评测 8 种记忆方法。
推荐理由:HABIT-Bench 区分重复习惯与一次性例外,并以 33.61% 对 25% 的随机基线量化智能体从弱证据归纳习惯的难度。
AKV 提出缓存工程方案,让大语言模型智能体在不修改轨迹的情况下直接管理活跃 KV cache。智能体可用 drop 操作将选定缓存排除出后续注意力计算,或用 repos 操作调整保留键的位置编码;配套服务引擎提供兼容现有 serving API 的无状态接口,并在内部管理有状态缓存复用、淘汰和恢复。
推荐理由:AKV的滚动丢弃策略在基准测试中与阈值触发摘要比较,量化了平均分、成本、吞吐和P95延迟的差异。
HyperDrone 提出一款GPU加速四旋翼模拟器,以每秒数百万帧渲染高保真观测,并支持视觉策略从仿真迁移到实机。其批处理仿真速度比现有先进四旋翼批处理模拟器快20x以上,HyperLux支持Nvidia OptiX、Vulkan、Apple Metal和WebGPU后端,并可输出RGB、深度、语义或实例分割、表面法线和光流观测。
推荐理由:论文报告批处理仿真速度比同类方案快20x以上,并验证纯仿真训练的偏航控制策略可迁移至Crazyflie实机,适合作为高速具身仿真的对照案例。
一项针对多元虚拟世界具身智能的研究发现,在持续预训练中扩大数据规模、多样性和模型容量可改善学习,但对遥远世界泛化有限,仍需超越模仿的更丰富训练。研究比较120种配置,覆盖0.8B至27B的4个模型规模、50至1,600 hours的6档数据预算和5种数据混合,还拟合了验证损失与三因素之间的经验扩展规律。
推荐理由:该研究比较120种训练配置,拆解数据量、环境多样性与模型规模对具身学习的影响,并呈现遥远世界泛化的能力边界。
RLSplat 提出资源线性预算可控的前馈 3D Gaussian Splatting 框架,使表示规模、推理延迟和峰值内存随高斯预算降低而线性下降。框架学习区域分配策略,恰好生成指定数量的高斯,并通过高效分层邻居搜索让每个高斯只关注邻近高斯,取代先密集预测再剪枝或筛选的路径。
推荐理由:论文将高斯预算按局部区域分配,并用局部注意力完成解码,提供了让资源开销随高斯数量线性下降的实现思路。
StyleStream 2.0 提出快速、可控的流式语音风格转换方案,相关论文获 NeurIPS 2026 接收。系统可在保留语音内容的情况下转换参考音色,也能依据自然语言描述设计音色或定向编辑声音属性。其在消费级 GPU 上实现 520 ms 端到端延迟,并通过少步 MeanFlow 生成和自回归反馈加速推理。
推荐理由:论文将参考音色转换、自然语言音色设计与定向编辑统一到流式框架,并给出 520 ms 端到端延迟数据。
Ask-to-Distill 提出一种无需参考答案、正确性奖励或逐候选学生更新的合成问题优化框架,用于在策略蒸馏。它以冻结的师生模型组合计算问题价值,在数学推理、代码生成和智能体任务上提升平均表现及师生差距恢复效果,并在评测设置中达到或超过真实题库 OPD。代码、数据和模型已公开:https://github.com/GasolSun36/Ask_to_Distill。
推荐理由:论文提出在无参考答案时按蒸馏信号价值优化合成问题,并比较其在推理、编码和智能体任务中的效果。
论文构建了一支由不同学科背景的持久 AI 研究智能体组成的团队,用于自主发现线性注意力架构。团队通过私有研究历史、共享实验证据和自适应分配选择研究机会,在 1.3B 规模下的语言建模、常识推理及合成和真实世界检索任务中超过 GDN2。消融实验显示,移除学科背景、私有历史或自适应分配均会削弱发现表现,论文链接为 https://arxiv.org/abs/2610.28887。
推荐理由:论文把多学科智能体、私有记忆与自适应任务分配组合成研究团队,并给出消融结果,便于理解自主科研系统的组织设计。
WorldStream 是一种开放式 3D 世界模型,可持续扩展地形、处理语言命令,并保留用户对已访问地点的编辑。其分层规划器由 Macro 确定聚落、生态、交通和水文结构,再由 Micro 将约束细化到地块,并由确定性本地代码生成世界内容。流式编译只处理移动即将到达的区域并释放身后几何,单一世界记录则保存计划、种子、对象身份、可变状态、边界承诺和编辑,返回地块时据此重新编译。
推荐理由:论文拆解了分层规划、流式编译与持久世界记录如何协同,支撑无预定义地图的交互式 3D 世界持续扩展。
Qwen-Audio-3.1-ASR 模型家族在 Qwen-Audio-3.0-ASR 基础上改进语音识别,并扩展说话人区分转写与通用音频理解能力。该家族支持 30 种语言和 16 种中文方言;说话人区分 ASR 输出说话人标签、时间戳和识别文本,保持跨轮次说话人标签一致,并能表示重叠语音。
推荐理由:报告将语音识别、说话人区分和通用音频理解纳入同一模型家族,并列出语言、方言及部署变体,便于对照不同任务需求。
研究团队提出 StreamEval,用于统一评测交互式流式视频生成模型在五类任务中的表现。它覆盖 avatar dialogue、avatar performance。
推荐理由:StreamEval通过五类任务和统一指标比较37个模型,呈现视觉质量与请求执行、状态一致性之间的差异。
Policy-Mask 通过预算条件策略联合选择扩散模型的时间步、网络块和通道子集,为判别性视觉任务提取紧凑特征。相同预算下,它在 ADE20K、CIFAR-100(128 dimensions)和 SPair-71k 上分别取得 38.9 mIoU、75.4% top-1 和 76.3 PCK@0.1,并适配 PixArt-Σ 与 SD3.5 MMDiT。
研究提出在 MoE 层间共享 Meta Expert(元专家),以减少专家存储冗余并提升信息存储与检索效率。固定激活数量和专家粒度时,该模型使用 Vanilla MoE 70--80% 的专家即可达到相近性能;实验还观察到更低的交叉熵损失和更高的下游任务准确率,理论分析指出共享元专家提供更灵活的残差路径。
推荐理由:论文对比局部专家与跨层共享元专家,指出后者可减少参数冗余,并在固定激活量和专家粒度下用更少专家匹配 Vanilla MoE 性能。
OvisOCR3 技术报告提出一个0.8B视觉语言模型,以单一模型统一文档解析、通用OCR、关键信息提取、文档图注生成和跨页表格重建五类任务。模型通过继续预训练、领域平衡中期训练、5个领域专用4B教师模型的on-policy蒸馏,以及带领域特定奖励的混合任务强化学习完成训练。
推荐理由:报告给出了0.8B OvisOCR3统一五类OCR任务的训练路径,涵盖领域平衡中期训练、多教师on-policy蒸馏和混合任务强化学习。
Code2Video-Compass 是覆盖 T2V、I2V 和 V2V 的通用代码式视频生成基准,要求 MLLM 将视觉与时间需求转为可执行程序。它包含 2,104 个任务,覆盖 10 个类别、24 个子类型及构造、动态动画和状态依赖 3 个复杂度维度,并结合 12 项客观指标与 5 项主观指标评分。
推荐理由:该基准用统一任务和双层指标覆盖三类视频输入,便于比较不同 MLLM 在复杂、状态依赖任务中的生成与对齐表现。
HarnessAdapt-RL 在强化学习期间同时训练编码策略并动态调整评测框架,使 9B 基础模型的 pass@1 在三套 SWE-bench 基准上高于 GRPO。
推荐理由:论文将编码策略与评测框架共同训练,并与固定 harness 的 GRPO 在三套 SWE-bench 基准上直接比较,便于评估协同训练的收益。
研究团队通过近 600 次训练运行比较循环 Transformer 的完整 BPTT(按时间反向传播)与截断方案,发现匹配计算量时完整 BPTT 始终更优。统一缩放律显示,模型大小可调时,完整训练两轮循环是最佳设置;其验证损失低于计算最优的非循环模型,非嵌入参数约少 27%,训练计算量仅多 8%。论文地址为 https://arxiv.org/abs/2610.26030。
推荐理由:近 600 次训练与统一缩放律为循环 Transformer 的截断取舍提供了匹配计算量比较,并给出参数效率与训练成本的具体结果。
Harness² 是 Google Research 开源的递归式 Agent 框架。它通过 Propose / Probe / Compose 步骤在任务级递归中精炼执行配置。
推荐理由:原文给出递归式 agent 框架的双层递归设计及三个职业类基准的具体增益,可作为改进现有 agent 编排的参考方法。