DirCast:用单一流式视频语言模型完成电竞导播与实时解说
DirCast 是一种流式视频语言模型,可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头,以保持或切换策略决定是否转场,再以高分辨率读取选中画面并解说;上下文保留已播画面与已生成解说,让其余视角移出,从而约束任意长度流的成本。
推荐理由:论文把每秒选镜头与实时解说统一进单一流式模型,并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。
DirCast 是一种流式视频语言模型,可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头,以保持或切换策略决定是否转场,再以高分辨率读取选中画面并解说;上下文保留已播画面与已生成解说,让其余视角移出,从而约束任意长度流的成本。
推荐理由:论文把每秒选镜头与实时解说统一进单一流式模型,并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。
Dual Exam 分别在固定环境响应机制和固定动作干预下评测多模态智能体与世界模型,覆盖物理、数字、社会和科学领域。
推荐理由:Dual Exam 将智能体与世界模型分轨评测,并报告耦合试验任务成功数为 0 及任务相关状态保持问题。
F2G-Pose 提出实时单次前馈框架,从单张 RGB-D 图像直接预测类别级物体的三维位姿、米制尺寸和相机坐标系下的补全形状。方法将稠密视觉基础特征提升为局部点云,以 DGCNN 编码局部几何,并用 Mixture-of-Experts Transformer 融合对象级结构。
推荐理由:F2G-Pose 在 SOPE 和 ROPE 上达到 SOTA,位姿推理速度为 28 FPS,为实时三维位姿估计提供了兼顾精度与效率的方案。
BrickWright 通过装配 API 和物理可行性验证器,让预训练智能体根据文本或图像提示生成物理可行的 LEGO 积木装配。在 512 个提示的样本上,智能体达到 100% 物理有效性,基线智能体则为 9%(GPT-6 Luna)至 69%(GPT-6 Astra);轻量智能体的提示遵循度提升,强智能体保持该指标,并优于专用模型完成文本到积木任务。
推荐理由:BrickWright 将装配 API 与物理可行性验证器接入智能体,为实体积木生成提供了一套可复用的验证与纠错方法。
论文提出一种面向任意骨骼绑定的模型,可联合生成视频与 3D 运动,并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器,训练中使用生成式视频编辑器以及人类和机器人视频,形成 nearly 200K 训练对。
推荐理由:论文比较了任意骨骼动画中联合生成与视频优先方案的差异,评测重点落在文本驱动忠实度与场景响应。
NVIDIA 扩展面向欧洲行业的开放模型组合,覆盖语言、机器人、生物与量子计算,并支持结合本地数据和自有基础设施部署。
研究人员发布面向全模态大模型的音视频推理评测基准 EvaOmni,包含 392 段视频与 1027 道人工标注问答,覆盖 15 项能力以及检索定位、基础理解与复杂推理三个层级。
推荐理由:针对全模态大模型的音视频推理评测,给出 15 项能力、三个层级和 392 段视频的覆盖,可对比主流模型在证据定位上的真实差距。
Video-Point Model(VPM)根据多视角视频历史和语言指令,联合预测任意视角的未来视频与持久场景点的3D轨迹。它在预训练世界模型中加入相机条件多视角处理和轨迹头,并构建 VPM-Data 仿真语料与 VP-WorldBench 预测基准。
推荐理由:将多视角视频预测与持续点轨迹监督结合,并通过仅视频对照及模拟和真实机器人实验呈现共享3D表征的作用。
Foundation4D是一种面向自动驾驶的统一前馈模型,可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测,位姿图优化用于细化相机轨迹并组装目标轨迹。
推荐理由:Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架,并发布含1,253段稠密标注驾驶片段的基准,便于比较联合训练的多任务收益。
LaLa-World 提出语言条件潜世界模型,联合学习仿真、机器人轨迹及更广泛的图像和视频数据,平均 MPC 规划性能高于按域或任务分别训练的 LWM。它把数值动作和视觉变化都描述为语言,并基于语言模型预测未来潜状态,用同一预测器联合训练异构数据集。
推荐理由:论文用匹配比较呈现 LaLa-World 的效率,在规划性能与 RAEv2 基线相当时,训练成本低 6times、规划速度快 13.9times。
Jev Cards 是一款围绕 TypeSafe 视觉模型 Jev 构建的开源图片问答游戏,Jev 会根据图片和问题选择答案或点击位置,响应约需四分之一秒。玩家可独自挑战各模式排行榜,也可开启实时比赛,与朋友和 Jev 同场竞技;更多卡牌将陆续推出。
推荐理由:将 Jev 的视觉问答能力做成可试玩的图片竞答游戏,并提供排行榜、实时对战和开源代码,便于直接体验其响应表现。
Manga2Animate 提出一个多智能体框架,把漫画改编为动画的过程拆成动画脚本和视觉分镜两个中间表示,分别由创作智能体生成、由评审智能体对照原画面把关,再合成最终动画。作者针对两类表示设计筛选与双层反馈逐步迭代;实验与用户研究显示其结果在忠于原作和跨镜头一致性上优于当前最佳方法。项目页:annchenn.github.io/Manga2Animate
推荐理由:指出直喂分镜页和仅靠文本这两条已有路线的局限,给出创作评审双智能体配合中间表示这一可迁移方案。
山东省人民政府印发《山东省旅游业发展“十五五”规划》,提出深化“人工智能+旅游”应用,因地制宜发展新质生产力。规划明确探索“具身智能+旅游”落地应用,支持山岳型景区投放登山助力机器人,并依托文旅科技平台打造“人工智能行程助手”、构建“人工智能+混合现实”导游导览新模式。
推荐理由:给出了省级文旅规划中“具身智能+旅游”的具体落地场景,可作为同类景区智能化的参考方向。
InfiniDream 提出了一种由视觉语言模型驱动的框架,通过符号化程序化资产生成与确定性场景放置,构造开放式、可编辑、照片级真实感的 3D 世界。
推荐理由:原文给出 VLM 驱动的程序化 3D 世界生成框架及两项关键模块设计,读者可据此了解如何用符号约束与确定性放置提升场景可控性。
HOLI-WORLD 论文提出一套从人类第一人称视频自动构建大规模学习资源的完整生态,覆盖采集、世界表征、自动数据构建、模型学习与独立评测五个环节。
推荐理由:原文给出从第一人称视频自动构建训练数据与评测基准的完整管线,读者可据此评估其在具身场景理解方向的可迁移性。
本研究提出 Brain LoRA 方法,用 LoRA 低秩适配器对多达 104B 参数的多模态 backbone 做参数高效微调用于脑编码,并在 Qwen3-Omni 上取得 Algonauts 2025 Challenge 已发表最佳成绩。
推荐理由:对想用大模型做神经科学数据的读者,这篇给出了把 LoRA 扩展到 104B 多模态模型的具体工程路径和性能基准。
OpenVLHarness 通过整合持久多模态记忆、异构工具接口与编码执行层,让 MLLM 在推理中可调用外部工具并跨步骤组合视觉证据。
推荐理由:在 22 个基准上对照有无工具与记忆配置下的增益与 token 成本,为视觉智能体方案评估提供统一参照。
ScaleNav 提出统一的世界—动作框架,利用互联网第一视角视频学习目标导向视觉动态,并据此生成语言条件局部导航所需的机器人动作。训练分为指令条件视频预训练、使用带动作标签的仿真数据进行动作对齐,以及联合微调三个阶段。
推荐理由:论文把互联网第一视角视频预训练、仿真动作对齐与联合微调串成三阶段流程,并给出仿真基准及真实四足机器人部署结果。
WorldStream 是一种开放式 3D 世界模型,可持续扩展地形、处理语言命令,并保留用户对已访问地点的编辑。其分层规划器由 Macro 确定聚落、生态、交通和水文结构,再由 Micro 将约束细化到地块,并由确定性本地代码生成世界内容。流式编译只处理移动即将到达的区域并释放身后几何,单一世界记录则保存计划、种子、对象身份、可变状态、边界承诺和编辑,返回地块时据此重新编译。
推荐理由:论文拆解了分层规划、流式编译与持久世界记录如何协同,支撑无预定义地图的交互式 3D 世界持续扩展。
Qwen-Audio-3.1-ASR 模型家族在 Qwen-Audio-3.0-ASR 基础上改进语音识别,并扩展说话人区分转写与通用音频理解能力。该家族支持 30 种语言和 16 种中文方言;说话人区分 ASR 输出说话人标签、时间戳和识别文本,保持跨轮次说话人标签一致,并能表示重叠语音。
推荐理由:报告将语音识别、说话人区分和通用音频理解纳入同一模型家族,并列出语言、方言及部署变体,便于对照不同任务需求。
研究团队提出 StreamEval,用于统一评测交互式流式视频生成模型在五类任务中的表现。它覆盖 avatar dialogue、avatar performance。
推荐理由:StreamEval通过五类任务和统一指标比较37个模型,呈现视觉质量与请求执行、状态一致性之间的差异。
OvisOCR3 技术报告提出一个0.8B视觉语言模型,以单一模型统一文档解析、通用OCR、关键信息提取、文档图注生成和跨页表格重建五类任务。模型通过继续预训练、领域平衡中期训练、5个领域专用4B教师模型的on-policy蒸馏,以及带领域特定奖励的混合任务强化学习完成训练。
推荐理由:报告给出了0.8B OvisOCR3统一五类OCR任务的训练路径,涵盖领域平衡中期训练、多教师on-policy蒸馏和混合任务强化学习。
钛媒体专栏作者指出,近期 AI 短剧中角色频繁出现"面色一红"等机械化反应,暴露出模型在表达复杂情绪上的局限。原因在于 AI 自动写脚本时,"脸一红""俏脸微红"是网文里最高频的情绪标记词,模型倾向挑最顺手的下一句直接采用;同时 AI 只渲染出可见的"红脸"外观,无法区分羞、恼、窘迫、伤心等不同含义,作者将此概括为"AI 不动情"现象。
推荐理由:文章借讨封比喻指出,AI 剧角色反复出现的可疑脸红等机械反应,揭示了当前生成模型尚难处理人类复杂情绪表达的能力边界。
SpatialScout 提出一个评测 VLM 智能体主动探索并完成物体级 3D 映射的基准,包含 80 个室内场景和 3,140 个目标物体。智能体控制相机探索场景,在有限交互预算下估计物体中心,评测同时衡量定位准确率与目标覆盖率。
推荐理由:SpatialScout 以 80 个室内场景和 3,140 个目标物体量化检验 VLM 智能体的主动 3D 映射,并显示精确建图仍是主要短板。
Ropedia W0 是面向人类与机器人的跨具身移动操控世界基础模型,通过统一运动学表示融合两类数据,并在五项跨具身基准上取得 SOTA。其 Xp-Data 包含 10k 小时第一视角人类数据和 3k 小时机器人数据,并配有统一多模态标注与质量控制;Xp-Teleop 基于灵巧人形机器人遥操作数据构建。
推荐理由:论文将10k小时人类第一视角数据与3k小时机器人数据统一建模,并提供跨具身基准,便于比较人类经验对机器人移动操控性能的影响。
FocusGUI是一种轻量适配器,可为GUI智能体动态选择相关的多模态证据,在不微调骨干模型的情况下减少无关上下文造成的误差累积。它仅使用动作监督训练,将相关证据压缩为紧凑潜表示并注入冻结解码器的嵌入,不依赖模态相关性标签。
推荐理由:FocusGUI为GUI智能体训练轻量适配器,按步骤筛选多模态证据,并给出跨四种骨干模型的动作准确率对比。
MT Forcing 提出一种基于自回归扩散的多轮图像编辑训练范式,面向统一多模态模型,结合单轮分布匹配蒸馏和教师强制引导。Single-Turn DMD 以单轮累积编辑教师指导学生自主生成,减少递归误差累积;Teacher-Forcing Guidance 在预热和蒸馏阶段约束依赖历史的转场,以保持跨轮内容一致。实验显示,该方法提升了视觉质量稳定性和跨轮一致性。
推荐理由:论文把多轮编辑中的质量退化与内容漂移拆成两类问题,并给出对应训练机制,便于理解统一多模态模型的稳定性改进路径。
TCoVP 提出一种时空锚定的视频推理链,将实体与带时间戳的空间证据关联,用于定位隐式描述的目标并预测其像素级掩码轨迹。该方法按时间顺序组织查询相关观察,把语言与实体引用交织在推理链中,选中的目标基元再提供框提示和时间支持。
推荐理由:TCoVP 按时间顺序串联实体、时间戳与跨帧空间证据,展示了在视频分割中显式连接语言推理与视觉证据的方法。
Latent Space 开始试播 AINews 新节目 High Taste Testers,首期以旧金山午餐对话形式汇总 2026 年 10 月 15 日至 16 日的 AI 动态。
推荐理由:材料横向汇总开放权重模型、推理基础设施、智能体研究和监管提案,并保留基准与部署数字,便于快速扫描近两日 AI 变化。
谷歌正式发布Gemini 4 Argon,强化编程、复杂任务持续执行与多模态能力。第三方Artificial Analysis智能指数中,Argon High与GPT-6 Astra Max、Claude Fable5.1 Max并列53分;同类任务平均成本约1.99美元,比Astra低约39%。
同一件事,精选收录的是《Google 发布 Gemini 4 Argon 前沿模型,定价 $2/$10 每百万 token》
优必选发布统一多模态世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 三项公认具身世界模型基准中全部取得第一。
推荐理由:文章对比了拼接式与统一表征方案的技术差异,给出 Thinker-WM 在三大基准的具体得分与六大能力模式。
Elorian 发布首个模型 Glimpse,主打在推理过程中持续回到图像本身做裁切、取帧和执行代码,官方称这一机制为视觉草稿空间。该模型作为研究预览开放 API,聊天界面需申请使用,按官方评测在科学图表推理和短视频描述上结果优于 GPT-6 Astra,输入价格 $0.60/M tokens、输出 $3/M tokens。
推荐理由:原文给出 Glimpse 的视觉草稿空间机制以及与 GPT-6 Astra 等模型的对比数据,便于理解视觉推理与传统多模态模型的差别。
MJev-Spatial 把三类空间推理任务统一为单次前向分类,免去自回归解码生成的答案 token。它基于 Qwen3.5-4B、用 1230 万问答对训练,整体得分 65.64%,在 12 项基准中拿下 7 项第一,推理速度达自回归基线的 5.6 倍。
推荐理由:把空间推理统一为单次前向分类,免去答案 token 的解码开销,在 12 项基准中拿下 7 项第一,可作为高效多模态推理的参考方案。
OmniVerifier-C1 提出一种分级视觉验证器,将复杂多模态规则自动拆解为细粒度子问题并给出逐点评分,替代传统二元 True/False 判断。论文引入 Decoupled RL 训练策略,联合优化子问题级二元判断和全局对齐评分;在 text-to-image 场景中逐点评分验证器显著优于二元验证器。
推荐理由:原文把视觉验证器从二元判断扩展为逐点分级评分,并配套 Decoupled RL 训练策略与成对验证理论分析,读者可对照 Maze 和 Sudoku 实验评估其迁移到结构化世界建模的可行路径。
Intern-Decision 提出 0.8B/2B/4B 三种规模的多模态决策模型,通过在完整 assistant JSON 骨架中放置决策占位符的自回归掩码语言建模目标,一次前向返回结构化选项及概率。
Meta 发布开放权重模型 Muse Spark Open,称其为美国能力最强的开放权重模型,强调可在 Apple Mac 上本地运行。该模型采用 816B 参数与原生多模态设计,配备 1M token 上下文窗口,主打复杂编码与 agentic 任务;本地运行需至少 1TB RAM,在搭载 M5 Ultra 芯片的 Mac Studio 上效果最佳。
同一件事,精选收录的是《Meta 开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B》
Xiaomi-Lens-0 是一个基于 Qwen3.5 构建的 4B 多模态大模型,通过轻量解码器把视觉编码器 patch 特征与语言模型的 mask-token 状态融合。
推荐理由:原文给出从视觉表征直接预测 mask 并监督链式推理中访问区域的具体路线,读者可据此与其他细粒度区域理解方案做对照。
MARS 提出一种无需训练和多模态安全数据的多模态安全引导方法,仅从 LLM 主干提取文本拒答方向即可用于图像和视频。它通过激活居中、在几何定义的信任区域内自适应调节引导强度并选择干预层,在首个生成 token 生效。五个 SOTA MLLMs 上的安全、效用和视频越狱评测显示,MARS 持续提升安全性并保持效用;效果受层选择和引导强度影响,跨模态对齐可能导致安全输入被误导向拒答。
推荐理由:MARS 展示了仅复用文本拒答方向改造多模态安全控制的方法路径,并呈现层选择、引导强度与跨模态对齐的影响。
Meta 发布开源权重模型 Muse Spark Open,总参数 816B(激活 42B),支持最多 100 万 token 上下文以及文本、图像、视频和音频输入,主打编码和智能体任务。
同一件事,精选收录的是《Meta 开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B》
Meta 开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,上下文窗口达 1M tokens。
推荐理由:文章同时给出 816B 多模态 MoE 模型的架构、推理与微调命令,并附 llama.cpp、vLLM、SGLang 实测,便于直接对照复用。