技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
224 条精选近 30 天 198 条共收录 275 条
WorldStream 是一种开放式 3D 世界模型，可持续扩展地形、处理语言命令，并保留用户对已访问地点的编辑。其分层规划器由 Macro 确定聚落、生态、交通和水文结构，再由 Micro 将约束细化到地块，并由确定性本地代码生成世界内容。流式编译只处理移动即将到达的区域并释放身后几何，单一世界记录则保存计划、种子、对象身份、可变状态、边界承诺和编辑，返回地块时据此重新编译。
推荐理由：论文拆解了分层规划、流式编译与持久世界记录如何协同，支撑无预定义地图的交互式 3D 世界持续扩展。
Qwen-Audio-3.1-ASR 模型家族在 Qwen-Audio-3.0-ASR 基础上改进语音识别，并扩展说话人区分转写与通用音频理解能力。该家族支持 30 种语言和 16 种中文方言；说话人区分 ASR 输出说话人标签、时间戳和识别文本，保持跨轮次说话人标签一致，并能表示重叠语音。
推荐理由：报告将语音识别、说话人区分和通用音频理解纳入同一模型家族，并列出语言、方言及部署变体，便于对照不同任务需求。
研究团队提出 StreamEval，用于统一评测交互式流式视频生成模型在五类任务中的表现。它覆盖 avatar dialogue、avatar performance。
推荐理由：StreamEval通过五类任务和统一指标比较37个模型，呈现视觉质量与请求执行、状态一致性之间的差异。
OvisOCR3 技术报告提出一个0.8B视觉语言模型，以单一模型统一文档解析、通用OCR、关键信息提取、文档图注生成和跨页表格重建五类任务。模型通过继续预训练、领域平衡中期训练、5个领域专用4B教师模型的on-policy蒸馏，以及带领域特定奖励的混合任务强化学习完成训练。
推荐理由：报告给出了0.8B OvisOCR3统一五类OCR任务的训练路径，涵盖领域平衡中期训练、多教师on-policy蒸馏和混合任务强化学习。
钛媒体专栏作者指出，近期 AI 短剧中角色频繁出现"面色一红"等机械化反应，暴露出模型在表达复杂情绪上的局限。原因在于 AI 自动写脚本时，"脸一红""俏脸微红"是网文里最高频的情绪标记词，模型倾向挑最顺手的下一句直接采用；同时 AI 只渲染出可见的"红脸"外观，无法区分羞、恼、窘迫、伤心等不同含义，作者将此概括为"AI 不动情"现象。
推荐理由：文章借讨封比喻指出，AI 剧角色反复出现的可疑脸红等机械反应，揭示了当前生成模型尚难处理人类复杂情绪表达的能力边界。
SpatialScout 提出一个评测 VLM 智能体主动探索并完成物体级 3D 映射的基准，包含 80 个室内场景和 3,140 个目标物体。智能体控制相机探索场景，在有限交互预算下估计物体中心，评测同时衡量定位准确率与目标覆盖率。
推荐理由：SpatialScout 以 80 个室内场景和 3,140 个目标物体量化检验 VLM 智能体的主动 3D 映射，并显示精确建图仍是主要短板。
Ropedia W0 是面向人类与机器人的跨具身移动操控世界基础模型，通过统一运动学表示融合两类数据，并在五项跨具身基准上取得 SOTA。其 Xp-Data 包含 10k 小时第一视角人类数据和 3k 小时机器人数据，并配有统一多模态标注与质量控制；Xp-Teleop 基于灵巧人形机器人遥操作数据构建。
推荐理由：论文将10k小时人类第一视角数据与3k小时机器人数据统一建模，并提供跨具身基准，便于比较人类经验对机器人移动操控性能的影响。
FocusGUI是一种轻量适配器，可为GUI智能体动态选择相关的多模态证据，在不微调骨干模型的情况下减少无关上下文造成的误差累积。它仅使用动作监督训练，将相关证据压缩为紧凑潜表示并注入冻结解码器的嵌入，不依赖模态相关性标签。
推荐理由：FocusGUI为GUI智能体训练轻量适配器，按步骤筛选多模态证据，并给出跨四种骨干模型的动作准确率对比。
MT Forcing 提出一种基于自回归扩散的多轮图像编辑训练范式，面向统一多模态模型，结合单轮分布匹配蒸馏和教师强制引导。Single-Turn DMD 以单轮累积编辑教师指导学生自主生成，减少递归误差累积；Teacher-Forcing Guidance 在预热和蒸馏阶段约束依赖历史的转场，以保持跨轮内容一致。实验显示，该方法提升了视觉质量稳定性和跨轮一致性。
推荐理由：论文把多轮编辑中的质量退化与内容漂移拆成两类问题，并给出对应训练机制，便于理解统一多模态模型的稳定性改进路径。
TCoVP 提出一种时空锚定的视频推理链，将实体与带时间戳的空间证据关联，用于定位隐式描述的目标并预测其像素级掩码轨迹。该方法按时间顺序组织查询相关观察，把语言与实体引用交织在推理链中，选中的目标基元再提供框提示和时间支持。
推荐理由：TCoVP 按时间顺序串联实体、时间戳与跨帧空间证据，展示了在视频分割中显式连接语言推理与视觉证据的方法。
Latent Space 开始试播 AINews 新节目 High Taste Testers，首期以旧金山午餐对话形式汇总 2026 年 10 月 15 日至 16 日的 AI 动态。
推荐理由：材料横向汇总开放权重模型、推理基础设施、智能体研究和监管提案，并保留基准与部署数字，便于快速扫描近两日 AI 变化。
优必选发布统一多模态世界模型 Thinker-WM，在 WorldOlympiad、EWMBench 和 WorldArena1.0 三项公认具身世界模型基准中全部取得第一。
推荐理由：文章对比了拼接式与统一表征方案的技术差异，给出 Thinker-WM 在三大基准的具体得分与六大能力模式。
Elorian 发布首个模型 Glimpse，主打在推理过程中持续回到图像本身做裁切、取帧和执行代码，官方称这一机制为视觉草稿空间。该模型作为研究预览开放 API，聊天界面需申请使用，按官方评测在科学图表推理和短视频描述上结果优于 GPT-6 Astra，输入价格 $0.60/M tokens、输出 $3/M tokens。
推荐理由：原文给出 Glimpse 的视觉草稿空间机制以及与 GPT-6 Astra 等模型的对比数据，便于理解视觉推理与传统多模态模型的差别。
MJev-Spatial 把三类空间推理任务统一为单次前向分类，免去自回归解码生成的答案 token。它基于 Qwen3.5-4B、用 1230 万问答对训练，整体得分 65.64%，在 12 项基准中拿下 7 项第一，推理速度达自回归基线的 5.6 倍。
推荐理由：把空间推理统一为单次前向分类，免去答案 token 的解码开销，在 12 项基准中拿下 7 项第一，可作为高效多模态推理的参考方案。
OmniVerifier-C1 提出一种分级视觉验证器，将复杂多模态规则自动拆解为细粒度子问题并给出逐点评分，替代传统二元 True/False 判断。论文引入 Decoupled RL 训练策略，联合优化子问题级二元判断和全局对齐评分；在 text-to-image 场景中逐点评分验证器显著优于二元验证器。
推荐理由：原文把视觉验证器从二元判断扩展为逐点分级评分，并配套 Decoupled RL 训练策略与成对验证理论分析，读者可对照 Maze 和 Sudoku 实验评估其迁移到结构化世界建模的可行路径。
Intern-Decision 提出 0.8B/2B/4B 三种规模的多模态决策模型，通过在完整 assistant JSON 骨架中放置决策占位符的自回归掩码语言建模目标，一次前向返回结构化选项及概率。
Xiaomi-Lens-0 是一个基于 Qwen3.5 构建的 4B 多模态大模型，通过轻量解码器把视觉编码器 patch 特征与语言模型的 mask-token 状态融合。
推荐理由：原文给出从视觉表征直接预测 mask 并监督链式推理中访问区域的具体路线，读者可据此与其他细粒度区域理解方案做对照。
MARS 提出一种无需训练和多模态安全数据的多模态安全引导方法，仅从 LLM 主干提取文本拒答方向即可用于图像和视频。它通过激活居中、在几何定义的信任区域内自适应调节引导强度并选择干预层，在首个生成 token 生效。五个 SOTA MLLMs 上的安全、效用和视频越狱评测显示，MARS 持续提升安全性并保持效用；效果受层选择和引导强度影响，跨模态对齐可能导致安全输入被误导向拒答。
推荐理由：MARS 展示了仅复用文本拒答方向改造多模态安全控制的方法路径，并呈现层选择、引导强度与跨模态对齐的影响。
Meta 开源多模态 MoE 模型 Muse Spark Open，总参数约 816B、每 token 激活约 42B，上下文窗口达 1M tokens。
推荐理由：文章同时给出 816B 多模态 MoE 模型的架构、推理与微调命令，并附 llama.cpp、vLLM、SGLang 实测，便于直接对照复用。
NVIDIA 发布开源 Nemotron 3.5 Super VL，并推出端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Nemotron 3.5 Bolt E4B 4GB，覆盖从企业服务器到本地及边缘设备的智能体部署。
推荐理由：三款模型覆盖企业服务器到 4GB 端侧设备，并给出参数规模、速度、基准与部署路径，便于比较不同智能体场景的选型。