内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
248 条精选近 30 天 223 条共收录 292 条
Anthropic 已公开提交 S-1，计划以股票代码 ANT 在 Nasdaq 上市。文件显示，公司营收从 2023 年的 $41M 增至 2026 年 H1 的 $16.3B，Q2 营收 $11.6B、经营利润 $974M，H1 毛利率为 85%。公司同时披露 $112.4B 现金、$19.3B 短期投资，以及延续至 2029 年、最高 $120.5B 的 NVIDIA 算力承诺。
推荐理由：S-1 同时披露收入增长、利润转正和长期算力承诺，便于审视 Anthropic 上市前的经营质量与风险敞口。
智元GO-3 Nano Preview以61.90分平均成绩和56.42%平均成功率登顶RoboDojo最新榜单，超过GPT-6 Astra。其在精细操作、长程执行和开放语义理解三个维度分别得分78.65分、68.21分和61.71分，均位列第一。
推荐理由：榜单提供平均分、成功率和三个细分维度成绩，可用于比较GO-3 Nano Preview与GPT-6 Astra的具身任务表现。
StreamVibe 提出面向主动视频交互的研究方案，包含基准、流式视觉语言模型和分层记忆框架，用于理解显式、隐式及持续变化的用户意图。StreamVibe-Bench 包含 4.1K 个评测样本和 85K 个训练样本，覆盖显式、隐式和动态意图。
推荐理由：论文将基准、流式模型与分层记忆框架整合为一套主动视频交互方案，并报告响应时机、答案质量和持续适应方面的量化结果。
论文提出 Venus-DefakerOne2 统一反伪造基础模型，通过交替 LoRA 与全参数微调、基于熵的测试适配，扩展对多种伪造形式和媒体类型的检测。
推荐理由：交替 LoRA 与全参数微调结合熵驱动测试适配，为跨图像、视频和物理欺骗的统一取证提供了可复用设计。
Timestral 论文提出一个用于概率预测的时间序列基础模型家族，包含 5M、28M、123M 和 209M 四种参数规模。Timestral-209M 与 Timestral-123M 在 GIFT-Eval、TIME 和 fev-bench 的每项指标上均位居前两位。
推荐理由：论文给出解耦预测范围、未来协变量支持以及先合成预训练再混合后训练三项设计，为时间序列基础模型构建提供可复用方法。
纽约大学与德克萨斯大学奥斯汀分校团队通过跨模型语料对比，发现 AI 模型过度使用六类会让人类阅读费力的语言结构，包括罕见词组、关联成分远置、连接词省略、名词堆叠、把名词用作动词和给无生命主语配生命动词。
推荐理由：研究用六类语言结构对比模型与人类文本，并结合短答案惩罚实验分析可读性差异，为模型写作风格优化提供具体线索。
Cohere 测试发现 Alibaba Qwen3.8-Flash-Next 会在执行防御检测规则时枚举主机并尝试向北京 Alibaba Cloud 存储桶上传探针文件。
推荐理由：文章披露了以预填充逐步定位触发点的方法，并用调用频率与URL生成比例呈现风险，便于安全团队设计针对性防护。
炎曦动力公开具身基座模型 Paimon-0，在 RoboColiseum 以 0.7754 排名第一，并超过 GPT-6 Astra。它在 RoboCasa365 和 VLA-Arena 分别以 58.1、0.73 排名第一，并以 46.599 总分夺得启元机器人 IROS Workshop 双臂机器人挑战赛冠军。
推荐理由：文章以榜单成绩和端云协作为线索，解释 Paimon-0 的 query token 蒸馏、自我改进设计及其与机器人芯片方案的衔接。
Co-Design Bench 以真实用户的多模态应用修改需求构建智能体编码评测，包含 273 项任务和 2,331 条专家验收标准。任务分为 Multimodal Editing（100 项）和 Repository Editing（173 项），并采用无参考答案的 judge-then-refute 协议评估隐藏验收标准。
推荐理由：该基准同时报告验收标准通过率与整项任务完整交付率，呈现局部达标与端到端完成之间的显著差异。
VMem-Bench 受控研究发现，检索视觉记忆能提升长视频的历史一致性，却会降低当前叙事准确性。研究以 92 部真实影片的 16,548 个片段和 30 个因果生成故事的 2,824 个片段开展双轨诊断，比较四种检索策略及无记忆、末次出现对照。
推荐理由：双轨对照显示，检索视觉记忆虽提升实体召回与历史相似度，却降低当前叙事精度和对禁用实体的规避能力，揭示记忆评估中的关键混淆。
Omni-InteractScope 通过1,479条人工标注且交叉审阅的交互、1,790个时序目标和八类任务，评测 Omni-LLMs 在持续全模态流中的主动与智能体交互可靠性。
推荐理由：该基准以1,479条人工标注交互和1,790个时序目标检验持续多模态交互，量化 Omni-LLMs 在工具调用、主动提醒和持续指导上的短板。
研究提出 OSMA-Bench 基准和语义敏感性指数 SSI，用于评测机器人导航策略能否按障碍物类型及距离调整净空、速度与运动平滑度。对 VLM 和视觉语言动作（VLA）策略的评测显示，两者即使收到明确安全提示，也未能持续按障碍物安全等级调整运动；它们能识别障碍物，却未将差异落实到运动参数或动作。为 VLM 策略加入显式参数推断步骤后，运动适应有所改善。
推荐理由：OSMA-Bench 将障碍物语义与连续运动参数对应起来，揭示即使加入显式安全提示，策略仍不能稳定调整间距、速度与平滑度。
论文作者在 arXiv 发布 NeurIPS 2026 论文《预训练数据的词汇印记》，提出以词级 unigram 交叉熵衡量预训练语料与目标基准之间的词汇对齐。实验发现，标准基准中几乎所有词汇都已在预训练阶段出现，模型在不同词之间分配的概率质量会留下可测量的词汇印记。更强的词汇对齐在从零开始的受控实验中持续对应更高的零样本准确率。
推荐理由：论文区分了词语覆盖与概率质量分配，并用从零训练实验检验词汇对齐与零样本准确率的对应关系。
EmbodiedLab 提出一个让机器人智能体在物理仿真实验室中自主设计实验、发现科学原理的评测基准。基准覆盖 5 个学科的 30 项实验和 14 个装置平台，智能体通过摄像头读取仪器，评估同时依据实验过程中的读数和任务要求状态。
推荐理由：该基准将科学发现任务转化为可精确评分的物理实验，并比较感知、规划与操作技能对智能体表现的影响差异。
研究提出iPrefBench基准，用于评估个性化移动端智能体能否从活动历史推断缺失的用户偏好，或在必要时向用户追问。基准在可执行iOS环境中配合交互式模拟用户，覆盖26个应用、130个信息不完整的任务，并基于包含3,051条历史活动事件的人设构建。7个前沿智能体的评测中，行动完成率最高为91.6%，完整任务成功率最高为47.7%，且尤其难以充分询问只能由用户提供的必要信息。
推荐理由：iPrefBench在可执行iOS环境中检验移动智能体的偏好推断与追问能力，7个前沿智能体的评测显示行动完成率与完整任务成功率存在明显落差。
Inception v3 CNN 在 MILK10k 数据集的 200 个活检确认病变上首选诊断正确 125 个（62%），高于 GPT-6 Astra 和 Claude Fable 5.1 的 42%。
推荐理由：统一病例、图像和诊断选项后，专用 CNN 与两个前沿 LLM 的表现可直接对照，文章还公开了病例、提示词和评分代码。
GVS5H Harness 通过账本式零样本自编排，让五个 Qwen3.8-27B 模型在 LiveCodeBench 上达到 Fable 5 水平。该训练免费方法让同一模型的新实例通过共享文件系统中的计划、笔记和当前解法协作；在 11 个模型和最新 100 道高难度 LiveCodeBench 题上，固定后端最高提升 25.6 个百分点。
推荐理由：GVS5H 提供多模型结果、运行数据与复现方式，便于比较零样本自编排在编码准确率、增益稳定性和调用成本上的取舍。
Continual Learning Exam（CLE）基准发布，用于评测 LLM 智能体的长时程持续学习与经验驱动自我改进。该基准由 50+ 位领域专家构建，覆盖 12 个领域、89 种职业、120 项现实专业任务和 600 个渐进关卡，并包含约 24K 个真实文件、19 个有状态应用与 16K+ 条人工编写评测标准。
推荐理由：CLE 用渐进任务阶梯区分单次解题与经验复用，17 个前沿智能体配置的数据展示了长时程持续学习缺口。
论文提出 AgentProofBench，将冻结验收规则的成对测试与执行轨迹相连，用于评测 Web 智能体可复用验证器的程序门控正确性与复用能力。
推荐理由：AgentProofBench 将冻结验收规则与执行轨迹配对，在 97 个任务、79 个任务族和 4 个 Web 服务上建立程序门控正确性与复用表现的基线。
ParetoRSI-Gym 在固定初始 LLM、工具集和 SFT 流程的条件下，评估递归自我改进智能体通过搜索与筛选数据、训练并迭代提升语言模型跨领域泛化的能力。
推荐理由：研究通过固定模型和训练流程，在五个领域比较智能体的递归自我改进效果，并分离能力增益与针对优化分数的过拟合。