WeVisOne-VL：从对象到像素的统一视觉感知
论文提出 WeVisOne-VL，通过结构化 token 预测统一对象级与像素级视觉感知。该 VLM 借助轻量 pixel decoder 和特殊 <OBJ> token 生成实例级像素输出，并采用三阶段课程训练，先进行 SFT，再进行混合任务 RL。
推荐理由：将检测、定位、OCR、分割与抠图纳入同一 VLM，并给出 30 多个基准结果，为比较细粒度视觉感知方案提供集中参考。
技术方向
多模态 最新动态
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
222 条精选近 30 天 196 条共收录 273 条
更新
精选归档 · 第 5 页
HF Daily Papers精选AI 评分6060 腾讯混元精选AI 评分5757 腾讯 WeChat Vision 发布 WeVisOne-VL-4B 统一视觉感知模型
腾讯 WeChat Vision 发布 WeVisOne-VL-4B，将对象级视觉任务与像素级视觉任务统一到同一模型中。模型基于 Qwen3-VL，通过结构化 next-token prediction 和 9.6M 参数轻量像素解码器，支持开放词汇目标检测、指代定位、目标计数、目标指向、OCR、指代分割及可提示 alpha 抠图。
推荐理由：模型将对象级与像素级视觉感知统一到同一架构，公开坐标标记、实例标记和 9.6M 参数像素解码器细节，便于对照研究视觉定位、分割与抠图。
HF Daily Papers精选AI 评分4545 OmniDR-Bench 评测生成视频中心深度研究报告的智能体
研究者提出 OmniDR-Bench 和技能工作流，用于评测智能体围绕视频综合外部证据并生成关联视频时刻的交互式报告。该基准包含 19 个现实子类别、50 个中英文任务和 6,414 条标准，并以 Omni-ARTs 评估 18 种智能体配置；最佳系统得分 63.3/100。
推荐理由：该基准将视频定位、外部多模态证据检索与交互式报告纳入统一评测，并呈现智能体在覆盖范围和跨模态分析上的能力差距。
HF Daily Papers精选AI 评分4242 Verus-Insight 以三阶段证据流程检测 AI 生成视频伪影
Verus-Insight 通过检查规划、证据验证和证据聚合训练 AI 生成视频伪影检测器，并采用人工锚定的全流程监督与渐进能力训练。论文还提出带有人工标注可感知伪影的 Verus-Bench；多基准实验显示，该方法在细粒度伪影分析和视频级检测中表现较强，并能更可靠地将检查目标转化为有支持的证据，同时未增加虚假伪影断言。论文地址为 https://arxiv.org/abs/2610.30866。
推荐理由：论文把 AI 生成视频伪影检测拆为检查规划、证据验证和证据聚合，同时提供细粒度人工标注基准，便于比较检测器的证据识别能力。
钛媒体精选AI 评分5252 AI改造内容行业：效率焦虑与互动影游机会
AI正通过多模态模型重构内容生产，在游戏、电商和短视频等高频场景中缩短制作周期并降低费用。文章以MiniMax H3为案例，称一家大型游戏厂商将素材制作从几天缩至几小时，月度费用从几百万元降至几十万元；H3支持768p和2K输出，2K的API调用价格约0.8元/秒。B站updream使用H3开展创作者征稿，双方还探索热门视频Skill，文章同时讨论互动影游的内容生产与分发入口竞争。
推荐理由：文章通过游戏、电商与B站案例，拆解AI内容生产在制作周期、费用、返工和生态入口上的现实收益与限制。
HF Daily Papers精选AI 评分3636 论文提出 FAPL，利用 MLLM 潜变量实现电影化视频的稀疏推理与因子控制
论文提出因子感知预测学习 FAPL，通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量，支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用，再通过 factor-span replacement 学习目标因子改变与非目标保持，最后冻结 DiT 并优化 MLLM 和连接器，兼顾有限输入表示学习与完整观察重建。
推荐理由：论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架，便于理解多模态表征如何用于电影化视频生成。
HF Daily Papers精选AI 评分3636 OPST 论文提出大语言模型无人工问答数据的自我训练框架
研究提出 On-Policy Self-Training（OPST），让大语言模型仅凭粗粒度主题描述生成问题、答案和特权推理示范，在不依赖人工编写问答的情况下实现自我改进。伪验证过滤器只保留模型能在新上下文和改写问题中复现答案的题目。实验覆盖域内自我改进、域外知识保持和 Visual OPST 多模态迁移，结果显示其提升语言与多模态推理，并优于其他训练策略。
推荐理由：论文把自蒸馏改写为自训练框架，并用可复现性过滤自生成题目，为无人工问答的模型自我改进提供了具体路径。
HF Daily Papers精选AI 评分5050 多模态大语言模型跨模态共享检索头机制研究
这项研究考察多模态大语言模型的检索头是否会随输入模态增加而扩展，并用音频与画面呈现相同答案的配对输入进行验证。在18个语言、视觉语言和全模态检查点上，全模态模型基本保留骨干模型的检索头，消融这些头几乎消除全部音视频检索。
推荐理由：论文把跨模态共享的检索头转化为优化目标，并报告该方法在三个模型家族上改善文档检索，为改进多模态检索提供了一种方法。
HF Daily Papers精选AI 评分5353 RynnUnify 论文提出融合视觉规划、物理推理与机器人控制的16B统一具身模型
RynnUnify 是一种 16B 统一具身模型，通过视频—语言交错推理整合视觉规划、物理推理与机器人控制，并形成智能体扩展与世界—动作扩展。实验显示，其具身理解平均分在所评估的统一多模态模型中最高，Rynn-VP 总体分较 Cosmos 3 Nano 高 9.75 分，智能体扩展使 Rynn-GEU 平均分较直接推理高 6.0 分。
推荐理由：RynnUnify 将具身理解、长程视觉规划与机器人控制纳入同一16B模型，并以基准和真实机器人任务检验各扩展模块。
HF Daily Papers精选AI 评分4646 感知运动对齐：S²作为具身策略成功率的代理指标
这项研究将柏拉图表征假说扩展到机器人领域，并提出Sensorimotor Alignment（S²），以感觉表征邻域与末端执行器轨迹邻域的重叠度衡量对齐程度。仿真中的Vision-Language-Action模型（VLA）、World Action Models（WAMs）及真实机器人策略均显示，S²越高，任务成功率通常越高。
推荐理由：研究以感觉表征与运动轨迹的邻域重叠构建S²指标，为闭环评测前识别更可能取得高任务成功率的模型提供低成本离线依据。
HF Daily Papers精选AI 评分5050 Falcon：面向真实声学场景的高效流式音视频目标说话人提取
Falcon 是一种因果音视频目标说话人提取模型，利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失，相较 causal AV-TFGridNet，可训练参数减少 91.9%，计算量降低 20.2×，GPU 推理延迟降低 11.1×。
推荐理由：论文提供真实场景基准，并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比，便于评估效率取舍。
HF Daily Papers精选AI 评分5252 World-in-Context：基于上下文条件化的交互式视频世界建模
World-in-Context 提出上下文条件化（ICC）框架，用共享自注意力中的显式 token 统一视角、动作和相机控制。World-in-Context-5B 在 WBench 上取得 81.5 的导航表现，接近 22B EchoWM 的 81.6；视角切换成功率达 93.8%，高于现有 5B 基线的 18.8%。
推荐理由：论文用显式 token 统一视角、动作与相机控制，并在 WBench 对比 5B 与 22B 方案的导航和视角切换表现。
TechCrunch精选AI 评分7575 OpenAI 向所有客户开放 Decisions API 决策模型
OpenAI 已向所有客户开放 Decisions API 决策模型，并在公开版本中加入语音和视觉模态。该模型由 ChatGPT Luna 重新配置以加快推理、降低成本，处理延迟由 1–3 seconds 降至 100、120、180 milliseconds。
推荐理由：文章同时给出 Decisions API 的延迟数据、客户试用结果和榜单位置，便于比较其速度、成本与决策能力。
HF Daily Papers精选AI 评分4646 AW-0 智能体世界动作模型框架联合建模代码、视频与机器人动作
AW-0 提出智能体世界动作模型框架，将基于代码的规划与未来视频和机器人动作作为三类耦合生成流统一建模。其混合 Transformer 架构由代码专家生成参数化技能程序和控制逻辑，视频与动作专家生成未来视觉状态及低层电机指令；自动整理流程还会用对齐程序标注机器人与人类视频轨迹，并将重复流程汇入技能库。
推荐理由：论文将代码规划、未来视频与机器人动作纳入同一生成架构，并报告任务表现相较 VLA 和 WAM 基线有所改善。
Hacker News精选AI 评分6161 ModelCompare 测试 12 个 AI 模型对人类的争议观点，29/35 次回答指向群体归属
ModelCompare 对 12 个文本 AI 模型各提问 3 次，35 个回答中有 29 个认为人类把归属、身份或地位置于真相与原则之上。7 个模型每次都给出这一观点，4 个模型给出过不同答案，Grok 4.7 有 1 次拒答；另测 6 个图像模型各生成 2 张图，12 张中有 10 张围绕沉迷手机、消费与地球展开。全部 60 次调用成本为 $1.54。
推荐理由：文章以 12 个文本模型和 6 个图像模型的对照测试，呈现模型在争议性观点上的共同模式，以及图文输出在主题选择上的差异。
Hugging Face Blog精选AI 评分7171 OlmoEarth v1.3 发布全球卫星嵌入模型、预计算数据与探索工具
OlmoEarth v1.3 发布卫星嵌入模型及全球年度预计算数据，为全球每个 10m 像素提供 64 或 128 维嵌入，并上线 OlmoEarth Embeddings Explorer。
推荐理由：模型不仅开放权重、数据和代码，还提供全球预计算嵌入与浏览器工具，读者可据此评估低算力遥感制图工作流。
HF Daily Papers精选AI 评分4141 RealMe 从稀疏低分辨率采集生成沉浸式体积视频
RealMe 提出统一框架，利用高分辨率视频扩散模型将稀疏、低分辨率多视角采集增强为 2K、4D 一致的体积视频。框架采用适配多视角布局的时空注意力、布局感知位置嵌入和潜空间频域损失，以改善分辨率与时空一致性。在 DNA-Rendering 和自采 RealVV 数据集上的实验显示，其视觉保真度和 4D 一致性优于已有最先进方法。
推荐理由：论文以高分辨率视频扩散模型、布局感知注意力和潜空间频域损失，将有限采集增强为 2K、4D 一致的体积视频。
腾讯混元精选AI 评分6969 腾讯混元发布 Hy-SimulMT 中英双向实时同声传译模型
腾讯混元发布 Hy-SimulMT，提供中英双向语音到语音实时同声传译，并支持在配置 TTS 后进行实时声音克隆，保留说话者声音特征。模型持续接收音频并同步输出译文文本与语音，面向会议、演讲和访谈等实时沟通场景。
推荐理由：材料给出 RealSI 等基准、与职业译员的小规模对比及完整部署路径，读者可据此判断模型在实时翻译场景中的质量、延迟与可操作性。
HF Daily Papers精选AI 评分3838 PAPAV：从计算机使用到机器人使用的多模态具身智能体统一能力框架
论文提出PAPAV框架，用感知、预判、规划、行动和验证五项能力统一比较多模态智能体、机器人系统与多模态具身智能体。对64项基准的分析显示，显式评测主要集中在行动，只有5项评估预判、3项评估验证。论文还指出，从数字环境转向物理环境时，5项约束会减少预先固定的选择和纠错空间。
推荐理由：PAPAV以五项能力统一比较多模态智能体、机器人系统与多模态具身智能体，并显示64项基准中仅5项评估预判、3项评估验证。
NVIDIA Blog精选AI 评分7171 NVIDIA Cosmos 平台新增世界模型训练、评估与部署工具
NVIDIA Cosmos 平台新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图，面向世界模型与物理 AI 开发。Data Factory 提供 5 个云原生蓝图，涵盖驾驶数据、图像增强、事件视频和缺陷生成等场景。
推荐理由：原文将数据构建、模型训练、策略测试与部署串成完整链路，并给出推理和视频处理能力的量化变化，便于评估平台落地范围。