用 JEPAs 证明并改进柏拉图式表征假说
Randall Balestriero 提交的 arXiv 论文将柏拉图式表征假说证明为定理:正样本对为同一场景的两个良好视图且错位受限时,不同模态上分开训练的 JEPAs 会学到至多相差一次旋转的表征。
Randall Balestriero 提交的 arXiv 论文将柏拉图式表征假说证明为定理:正样本对为同一场景的两个良好视图且错位受限时,不同模态上分开训练的 JEPAs 会学到至多相差一次旋转的表征。
Youtu-Parsing-Omni 提出并开源统一多模态解析器,以一个共享权重编码器和一套统一输出结构,将文档、图像、音频与视频转换为带时空信息的结构化记录。
推荐理由:论文同时给出统一解析架构、训练方法、基准成绩和 vLLM 部署配套,便于对照模型效果与实际使用方式。
HairDeck提出一种基于扩散Transformer的方法,从单张图像生成风格化发片及驱动它们的弹簧骨骼链,产出可导出至下游格式的动画资产。在CHARM自有测试集上,HairDeck将Chamfer距离降低44%,卡片朝向误差降低超过一半,运行速度提升33倍。
推荐理由:在CHARM自有测试集上,HairDeck降低Chamfer距离和卡片朝向误差,同时将运行速度提升33倍。
LARC 将统一多模态模型的推理从离散 token 空间转向连续隐状态,缓解 token 级瓶颈并支持测试时扩展。训练分为课程式 SFT 和信息增益 RL 两阶段,后者无需真实标签监督即可自演化潜在推理。
推荐理由:论文将推理置于连续隐状态以缓解 token 级瓶颈,并给出两阶段训练方法和 GenEval 对比,便于评估多模态推理的扩展表现。
研究团队用冻结特征探针评估十种视觉基础模型表示,发现可见场景的准确读出并不保证物体持久性、未来特征检索或目标导向行动的有效性。实验基于静态室内环境的流式第一人称观测,覆盖空间结构、物体持久性、预测更新和行动性四个层面,匹配控制区分了读出准确性与对视觉历史、运动的依赖。
推荐理由:十种表示的能力对比显示,可见场景读出准确并不等于能维持物体持久性、完成预测更新或支持目标导向行动。
新加坡国立大学(NUS)研究人员将电子纤维直接织入袖套,开发出可显示图像和视频、响应触摸并无线连接设备的可机洗织物触摸屏。原型由54根像素纤维组成,形成96×54像素、168×105毫米、30帧/秒的显示屏,并支持8-bit色深。在包含洗涤剂的50次机洗和半径5毫米的1,000次弯折后,显示与触控性能仍接近不变;团队后续计划提升分辨率、集成更多传感功能并探索端侧AI。
推荐理由:研究给出了电子纤维的互连架构与样机参数,展示了在保持织物透气性和柔韧性的同时实现可机洗交互界面的具体路径。
Cartesia Research 报告 H-Nets 在字节级语言、DNA 与图像上的训练结果与算力效率。
推荐理由:文章以匹配数据和算力的方式比较 BPE Transformer 与 H-Nets,并说明不同压缩策略下对齐口径的难点,为解读效率结果提供清晰边界。
Elorian 与 AI 数据公司 Mercor 联合发布 DecoyCount 视觉推理基准,用于测试语言模型能否真正计数,而非依赖视觉捷径与替代启发式。配套论文显示,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%,Glimpse 未列入论文。
一项研究提出在线稠密强化学习框架,直接在实际运行的 iOS 应用上训练由规划智能体与 UI 定位模型组成的 UI 导航智能体。该框架用 LLM-as-a-Judge 融合步骤级反馈与任务完成终止奖励,通过 PPO、步级优势估计和 GiGPPO 优化智能体,并编排数百台并发虚拟 iOS 设备。
推荐理由:论文将规划与 UI 定位拆成专用组件,并给出 GiGPPO 价值估计与多基准评测,便于对照在线强化学习的效果。
WorldBridge 将视频预测与稀疏动作监督结合,用分离的视频专家和动作专家提升机器人在新任务中的泛化能力。在 RoboTwin 2.0 的分布外任务上,仅使用同分布视频-动作监督的成功率为 25.07%,加入无动作标签的视频后升至 55.90%,每个任务再增加 1 条动作标注示范后达到 70.70%。
推荐理由:通过对照视频与动作监督的组合,论文量化了两类监督对机器人任务迁移的贡献,并给出多基准结果,便于理解 WorldBridge 的设计依据。
论文用 JEPA 将柏拉图表示假说转化为定理,证明使用同一场景良好视图的不同模态模型可学到相差至多一次旋转的共享表示。研究把下一 token 预测视为使用不良视图的 JEPA,并以 145k 条 caption 到 940M 张网页图像文本的数据验证对齐缩放规律,良好视图达到同等对齐所需训练样本少 42 倍。
推荐理由:论文将 PRH 转化为表示定理,并比较 JEPA 与下一 token 预测在跨模态对齐上的样本效率差异。
EmbeddingGemma 2 论文提出一个原生统一文本、图像、音频、视频及其组合表征的开源多模态嵌入模型。模型采用简化逐层嵌入与包含模态和目标递进的多阶段课程,并在覆盖各模态的综合嵌入基准中超过专用模型及规模大 2 至 12 倍的模型。设计支持选择性加载模态编码器、调整视觉 token 预算、截断嵌入维度和量化权重,论文地址为 https://arxiv.org/abs/2610.37364。
推荐理由:论文在统一多模态表征之外,还报告了相对专用模型和规模大 2 至 12 倍模型的性能对比。
这项研究表明,因子化向量量化可让离散视觉 token 在多模态理解上追平连续视觉表示,更大的量化误差也可能对应更好的理解表现。研究将有效 bit 预算识别为下游性能的关键因素,其模型在九项指标均值上较 UniAR 和 Emu3-Chat 分别领先 22.8% 和 59.2%,并在细粒度 OCR 任务上具备与 Qwen3-VL 等连续表示模型竞争的能力。
推荐理由:论文以量化误差与语义保真度的关系为切入点,对比连续与离散视觉表示,并给出可扩展的并行码本量化方案。
论文提出 EvidenceConnect,通过同一图像相关区域的缩放视图合成问题,并用 RLVR 训练出 Zooming without Zooming v2(ZwZ2)。框架仅保留多个独立 VLM 达成一致的参考答案,并通过区域消融剔除移除相关区域后答案仍成立的问题。ZwZ2 改善了细粒度与空间感知,并在具身空间推理、多模态长上下文理解、多模态智能体任务和通用视觉推理上获得进一步提升。
推荐理由:论文把证据连接抽象为可合成能力,并用独立 VLM 一致性与区域消融筛选训练数据,给出可复用的多模态训练流程。
VibeVideoBench 提出一个评测多模态智能体代码驱动视频生成能力的基准,包含239项中英文自包含任务和12个类别。每项任务要求智能体在无图像或视频生成模型的沙箱内用代码产出带声音的 MP4,并在1小时内完成;评估结合交付规范程序检查、约13k项任务量规和3个VLM评审组。
推荐理由:该基准覆盖239项中英文任务,并用分层量规与人类偏好对照,揭示智能体常因时间管理影响最终视频交付。
PDRVLA 将轻量物理动态模块引入视觉语言动作模型,通过预测未来视觉特征改善机器人动作生成,并避免在线视频生成延迟。该模块直接预测未来的 RGB、深度和光流特征,并用冻结的预训练视频世界模型进行辅助监督。
推荐理由:论文将轻量物理动态预测接入视觉语言动作模型,并通过消融实验分析世界模型监督、子任务条件化与 ECoT 训练对动作成功率的影响。
CodeCap-Bench 论文提出以可执行代码作为视频内容的补充表示,并推出评测多模态模型代码字幕生成能力的基准。该基准包含323个视频、五类结构化2D内容、细粒度标注和多层级评测框架。实验显示,代码字幕在问答推理准确率和视频重建保真度上优于自然语言字幕,但领先专有模型仍难以忠实呈现复杂时序,开源模型明显落后。
推荐理由:论文用323个视频和五类结构化2D内容构建基准,并同时比较问答与视频重建结果,便于比较模型在复杂时序描述上的差异。
Hy-Nomas 提出一种采用 8B 扩散骨干的视频世界模型,可依据多轮自由文本指令和连续镜头控制生成可变长度片段。模型结合结构化视频描述与动作感知因果注意力,在保留交互历史和动作后果的同时限制动作的作用窗口;视觉语言 Prompt Enhancer(PE)会将用户请求和多模态交互历史转换为下一片段的结构化条件。论文还公开模型权重、代码、基准和轻量适配流程,人工评测显示其表现优于现有世界模型。
推荐理由:论文将多轮指令、历史缓存和动作时间窗约束整合进 8B 扩散骨干的视频世界模型,并公开代码与基准,为复现交互式生成研究提供技术路径。
研究团队推出 Pinal,用自然语言生成蛋白质设计;Hugging Face 等团队发布开放权重模型 Carbon X,可在本地运行并处理 DNA 与英文。Pinal 通过 T2struct 生成结构 token,再由 SAProt-T 补全氨基酸序列;在 GFP 类荧光蛋白测试中,50,000 个候选经筛选后有 29 个在 E. coli 中表达,最终仅 1 个成功发光。
推荐理由:Pinal 与 Carbon X 展示了自然语言进入生物序列设计的不同路径,并用实验成功率、长序列定位和本地运行条件呈现落地限制。
A-RSI 在学习信号下降时刷新训练任务,并用由程序生成且可独立验证的答案提升模型的递归自我改进效果。方法依据训练日志中的奖励波动与准确率更新任务池,不参考验证集或测试集成绩,也不使用外部训练样本或人工答案标签。在主要十一项基准测试套件中,加入 800 个新任务后,性能平均值从 57.77 提升至 61.05。
推荐理由:论文将任务刷新与答案验证拆分,依据训练日志更新任务池,展示了无外部标签的多模态自我改进方法及基准结果。
研究团队提出 AskStream 多轮基准,用于评估流式视频理解模型在不确定性下主动询问缺失信息的能力。该基准覆盖视频和用户两类不确定性,包含 4 类任务、8 个子任务、438 个视频及 2,714 个人工标注的帧级时间窗口,动作分为等待、提问和回答。在选择题和开放式设置中,最强模型的 Ask-F1 也仅为 52.18%,反映出模型主动寻求信息能力的局限。
推荐理由:AskStream 将流式视频交互拆分为等待、提问和回答三类动作,并用多轮数据呈现模型主动补全信息的关键难点。
IntReal 提出面向真实场景的多模态交错生成数据集与评测套件,用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本,IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。
推荐理由:IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项,配套数据可用于针对性后训练与改进交错生成。
StreamVibe 提出面向主动视频交互的研究方案,包含基准、流式视觉语言模型和分层记忆框架,用于理解显式、隐式及持续变化的用户意图。StreamVibe-Bench 包含 4.1K 个评测样本和 85K 个训练样本,覆盖显式、隐式和动态意图。
推荐理由:论文将基准、流式模型与分层记忆框架整合为一套主动视频交互方案,并报告响应时机、答案质量和持续适应方面的量化结果。
论文提出 LOWN 解码方法,在无图像预测与上一次图像条件预测一致时跳过图像处理,并用经认证的 token 数量决定该步解掩码数量。该方法无需训练或调节阈值,在 10 个基准上保留 LLaDA-V 得分的 99.6%,平均使用 35.3% 的解码 FLOPs。
推荐理由:论文量化了扩散视觉语言模型重复处理图像的开销,并用证书引导路由在无需训练和阈值调节的条件下削减解码计算。
论文提出 Venus-DefakerOne2 统一反伪造基础模型,通过交替 LoRA 与全参数微调、基于熵的测试适配,扩展对多种伪造形式和媒体类型的检测。
推荐理由:交替 LoRA 与全参数微调结合熵驱动测试适配,为跨图像、视频和物理欺骗的统一取证提供了可复用设计。
Co-Design Bench 以真实用户的多模态应用修改需求构建智能体编码评测,包含 273 项任务和 2,331 条专家验收标准。任务分为 Multimodal Editing(100 项)和 Repository Editing(173 项),并采用无参考答案的 judge-then-refute 协议评估隐藏验收标准。
推荐理由:该基准同时报告验收标准通过率与整项任务完整交付率,呈现局部达标与端到端完成之间的显著差异。
VMem-Bench 受控研究发现,检索视觉记忆能提升长视频的历史一致性,却会降低当前叙事准确性。研究以 92 部真实影片的 16,548 个片段和 30 个因果生成故事的 2,824 个片段开展双轨诊断,比较四种检索策略及无记忆、末次出现对照。
推荐理由:双轨对照显示,检索视觉记忆虽提升实体召回与历史相似度,却降低当前叙事精度和对禁用实体的规避能力,揭示记忆评估中的关键混淆。
Omni-InteractScope 通过1,479条人工标注且交叉审阅的交互、1,790个时序目标和八类任务,评测 Omni-LLMs 在持续全模态流中的主动与智能体交互可靠性。
推荐理由:该基准以1,479条人工标注交互和1,790个时序目标检验持续多模态交互,量化 Omni-LLMs 在工具调用、主动提醒和持续指导上的短板。
研究提出 OSMA-Bench 基准和语义敏感性指数 SSI,用于评测机器人导航策略能否按障碍物类型及距离调整净空、速度与运动平滑度。对 VLM 和视觉语言动作(VLA)策略的评测显示,两者即使收到明确安全提示,也未能持续按障碍物安全等级调整运动;它们能识别障碍物,却未将差异落实到运动参数或动作。为 VLM 策略加入显式参数推断步骤后,运动适应有所改善。
推荐理由:OSMA-Bench 将障碍物语义与连续运动参数对应起来,揭示即使加入显式安全提示,策略仍不能稳定调整间距、速度与平滑度。
OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。
推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。
The Trinity 提出能力驱动的多模态智能体递归自我改进框架,演化后的 Harness 在 28 个训练基准和 18 个未见基准上平均分别提升 34 分和 26 分。
推荐理由:The Trinity 将多模态智能体改进拆解为能力树、模块继承和任务路由,并给出跨训练集及未见基准的分值对比。
Inception v3 CNN 在 MILK10k 数据集的 200 个活检确认病变上首选诊断正确 125 个(62%),高于 GPT-6 Astra 和 Claude Fable 5.1 的 42%。
推荐理由:统一病例、图像和诊断选项后,专用 CNN 与两个前沿 LLM 的表现可直接对照,文章还公开了病例、提示词和评分代码。
RynnVLA-Latent 从人类、机器人和仿真交互视频学习连续、3D接地的潜在动作,用于扩展机器人操作基础模型的预训练监督。框架处理30.1K小时视频,生成745.52M潜在动作描述符,并以flow matching训练4B策略,再适配到具体机器人形态的动作。
推荐理由:论文展示了从异构视频生成3D接地潜在动作的预训练方法,并附有数据扩展与消融结果,可供机器人策略研究者对照理解。
ChronoReplay 是面向流式视觉语言模型的训练框架,通过按时间顺序组织异构空间监督、保留任务专属答案格式并平衡不同监督族,统一分类关系、度量距离和运动轨迹三类空间推理。它在 OVO-S-Bench、OST-Bench 和 UCS-Bench 上均取得一致提升,OST-Bench 提升 13.41 分,并通过自适应帧选择在降低视觉处理成本的同时改善效果。
推荐理由:ChronoReplay 针对空间模型按答案格式专精导致的接口锁定,呈现多类监督平衡、时间有序回放与自适应帧选择的训练方案及基准结果。
AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。
推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。
论文提出开放权重视觉语言模型 RoboJev-27B,利用任务指令、操作尝试的 10 帧以及如有提供的辅助相机末帧判断机器人操作是否成功。
推荐理由:论文公开训练机制、推理代码及包含 20,628 条预测的评测数据,便于对照机器人成功检测方案并复现实验。
Google Research 正将 MedGemma、MedSigLIP 用于一线结核病筛查,覆盖胸片分诊、咳嗽声筛查与本地临床推理。团队通过 HAI-DEF 开源胸片嵌入与 MedSigLIP,并发布 4B、27B 开放权重 MedGemma,后者全球下载量已超过 10 million。
推荐理由:文章串联算法验证、监管认证、跨国部署与本地化微调,呈现医疗 AI 从研究走向临床的转化路径与关键环节。
FilmFlow 将自然语言指令或参考视频转换为动态 3D 场景中的可执行相机轨迹。Director 智能体组合平移、旋转和构图等原子操作,Interpreter、Scout、Critic 分别解析意图、选择初始视角并提供迭代反馈。
推荐理由:FilmFlow 将导演、意图解析、勘景和审片四类智能体串联,并以 150 个 Blender 场景的 CinemaBench 覆盖文本与视频参考两种生成方式。
论文提出 AgentVQA 离线基准,在 Web 智能体、机器人、第一人称视频、游戏和空间规划五类场景评测视觉语言模型。该基准从 23 个源数据集人工选取并改造 1000 个具有挑战性的真实世界智能体样本;在 22 个参评模型中,最佳准确率仅为 58.5%。跨域分析显示,主要失误来自 UI 元素定位、运动理解、状态变化跟踪和 3D 空间关系推断,而非任务误解或后续逻辑推理。
推荐理由:该基准以离线方式统一比较五类真实智能体场景中的模型,排名趋势与对应在线评测一致,并定位视觉 grounding 和状态跟踪失误。
论文提出 WeVisOne-VL,通过结构化 token 预测统一对象级与像素级视觉感知。该 VLM 借助轻量 pixel decoder 和特殊 <OBJ> token 生成实例级像素输出,并采用三阶段课程训练,先进行 SFT,再进行混合任务 RL。
推荐理由:将检测、定位、OCR、分割与抠图纳入同一 VLM,并给出 30 多个基准结果,为比较细粒度视觉感知方案提供集中参考。