跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

250 条精选近 30 天 225 条共收录 294 条

更新

精选归档 · 第 6 页

10月21日周三第 101–120 条
  1. HF Daily Papers47

    Foundation4D:面向自动驾驶的统一感知与重建模型

    Foundation4D是一种面向自动驾驶的统一前馈模型,可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测,位姿图优化用于细化相机轨迹并组装目标轨迹。

    推荐理由:Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架,并发布含1,253段稠密标注驾驶片段的基准,便于比较联合训练的多任务收益。

  2. HF Daily Papers46

    TenetBench 构建条款锚定的俄语职业伦理评测语料,检验 LLM 对具体条款的遵循

    TenetBench 用 15 部俄语职业伦理规范构造 3,433 个冲突请求及对应的良性请求,评测 LLM 是否会违反具体条款。冻结流程的人工验证中,专业人士判定 0.995 的冲突任务可能成立,模型裁判与裁决标签的 Gwet's AC1 至少为 0.894,评测覆盖 1,860 个元素。

    推荐理由:TenetBench 将伦理条款映射为成对请求,可用于比较模型违规、拒答与警告行为,以及推理模式带来的差异。

  3. HF Daily Papers50

    论文提出基准是难度分布上的经验测度

    该研究将基准评测形式化为难度分布上的经验测度,提出两项诊断指标和题目改写算法 BenchFill。作者将基准失效归纳为测度错配与覆盖缺口,并给出理论保证。实验覆盖7个领域的25个热门基准,发现不少基准偏重特定难度区域或留下覆盖空白,BenchFill 能减少局部覆盖缺口,论文见 https://arxiv.org/abs/2610.29927

    推荐理由:论文给出基准难度分布的诊断指标与题目改写算法,并用25个基准、7个领域的数据揭示覆盖缺口。

  4. The Decoder75

    OpenAI 称 GPT-6 在 COBOL、Fortran 等遗留编程语言上的表现更好

    OpenAI 称,GPT-6 Astra 在 MultiLangBench 覆盖的 20 种编程语言测试中,最大推理强度下平均通过率达 87.4%,而 GPT-5.6 Terra 约为 38%。在 COBOL 迁移基准上,GPT-6.1 Sol 在低推理强度下准确率为 86.6%,GPT-5.6 Sol 为 5.4%,提高推理强度后 GPT-6.1 Sol 达到 97.9%。

    推荐理由:文章同时给出 GPT-6 与 GPT-5.6 在多语言编程及 COBOL 迁移基准上的量化成绩,便于比较模型能力与推理强度的差异。

10月20日周二
  1. Hugging Face Blog75

    ALTK-Evolve 如何用学习式记忆让 GPT-4.1 登顶 τ²-bench 零售客服榜

    ALTK-Evolve 把 GPT-4.1 智能体轨迹提炼成提示词规则,无需更新权重,并以 67.5% Pass^4 位列 τ²-bench 零售榜首。在 40 个留出零售任务上,含 292 条规则的 lossless 配置将平均准确率从 78.1% 提至 82.5%,每次对话成本从 $0.084 升至 $0.139。

    推荐理由:实验同时报告 Pass^4、对话轮次与模型 token 成本,能帮助判断学习式规则在客服智能体中的可靠性收益与代价。

  2. Hacker News59

    marcusbuffett 用10个月自建199M参数类人国际象棋模型 Chessbook-1

    marcusbuffett 用 10 个月自建了 199M 参数的类人国际象棋模型 Chessbook-1,基于 12 个月 Lichess 对局训练,可在 600–2800 段位和各类时间控制下模仿人类走法、错误节奏与思考时长。

    推荐理由:作者给出评估类人棋手的分等级方法,模型在30000盘随机局面和blitz测试中与Allie 2.0持平、时间压力下优于Maia-3,可供想训练或评测类人AI对手时复用。

  3. HF Daily Papers48

    Stateful Harness:将规则执行与像素生成分离的交互式世界模型框架

    论文提出 Stateful Harness 框架,把基于规则的世界状态演化与冻结的视频生成模型分离,以在含隐藏状态的交互式世界模型中保持规则一致性。作者构建了包含 50 对反事实双胞胎的 WorldState-Bench 基准,评估 11 个视频后端。在仅用规则提示时最好的对子成功率只有 32%;指定期望结局后该指标提升到 64%,完整框架在同一冻结模型上达到 92%。

    推荐理由:将规则执行与视频生成分离的框架思路,可迁移到其他需要长期状态一致性的交互式生成场景,并附带评测基准。

  4. HF Daily Papers45

    DeOverlay:源锚定流视频遮挡物去除方法与 DVTE-Bench 基准

    DeOverlay 提出基于源锚定流匹配和可见性归一化时序聚合的视频遮挡物去除方法,可在源信息被遮挡时仍恢复底层场景结构。配套 DVTE-Bench 包含 1631 对视频、覆盖 8 类文字遮挡,实验显示 DeOverlay 在 5 项重建与感知指标上优于 4 个基线,Mask LPIPS 和 Mask VFID 相对最强基线分别下降 58.3% 和 70.3%。

    推荐理由:原文提供了新方法和 DVTE-Bench 基准,同时给出相对四项基线的量化结果,便于和已有视频去遮挡方案横向对比。

  5. HF Daily Papers45

    EgoXperience 从人类经验中学习世界坐标下的第一人称表征

    EgoXperience 提出统一框架,用自动标注数据和单次前向模型,从第一人称视频联合重建相机运动、场景几何、手部与物体。EgoX-Engine 将几何验证的目标跟踪与基于 SLAM 的世界对齐结合,生成含 50 小时室内外任务数据和秒级任务字幕的 EgoX-Data-6M,并选取其中 1 小时构建 EgoX-Bench。

    推荐理由:EgoXperience 将数据采集、自动标注、统一建模与基准评测串成完整流程,并公开 50 小时数据集,呈现了多组件联合重建的一体化设计。

  6. HF Daily Papers44

    HOLI-WORLD:从人类第一人称经验构建整体世界智能的生态

    HOLI-WORLD 论文提出一套从人类第一人称视频自动构建大规模学习资源的完整生态,覆盖采集、世界表征、自动数据构建、模型学习与独立评测五个环节。

    推荐理由:原文给出从第一人称视频自动构建训练数据与评测基准的完整管线,读者可据此评估其在具身场景理解方向的可迁移性。

  7. TechCrunch37

    Hugging Face 政策负责人:嵌入式 AI 评估员并非简单解决方案

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 大会上表示,当前 AI 模型评测仍是一门演进中的科学,复现性差且跨评测之间难以有效比较。

    推荐理由:Hugging Face 政策负责人从复现性与评估生态两个角度分析当前 AI 评测短板,帮助读者理解嵌入式评估员方案为何难以快速落地。

  8. HF Daily Papers51

    HABIT-Bench 评测智能体从纵向弱证据中归纳习惯的能力

    HABIT-Bench 通过合成用户历史,评测智能体能否从长期零散、不完整的证据中区分重复习惯与一次性例外,并据此选择恰当行动。基准覆盖饮食、金融、软件和旅行,使用跨越数百次会话的历史,以 Qwen3-235B-A22B 和 GLM-5.3-Flash 评测 8 种记忆方法。

    推荐理由:HABIT-Bench 区分重复习惯与一次性例外,并以 33.61% 对 25% 的随机基线量化智能体从弱证据归纳习惯的难度。

  9. HF Daily Papers55

    OvisOCR3 技术报告:0.8B 视觉语言模型统一五类 OCR 任务

    OvisOCR3 技术报告提出一个0.8B视觉语言模型,以单一模型统一文档解析、通用OCR、关键信息提取、文档图注生成和跨页表格重建五类任务。模型通过继续预训练、领域平衡中期训练、5个领域专用4B教师模型的on-policy蒸馏,以及带领域特定奖励的混合任务强化学习完成训练。

    推荐理由:报告给出了0.8B OvisOCR3统一五类OCR任务的训练路径,涵盖领域平衡中期训练、多教师on-policy蒸馏和混合任务强化学习。

  10. HF Daily Papers45

    Code2Video-Compass:覆盖 T2V、I2V 和 V2V 的通用代码式视频生成基准

    Code2Video-Compass 是覆盖 T2V、I2V 和 V2V 的通用代码式视频生成基准,要求 MLLM 将视觉与时间需求转为可执行程序。它包含 2,104 个任务,覆盖 10 个类别、24 个子类型及构造、动态动画和状态依赖 3 个复杂度维度,并结合 12 项客观指标与 5 项主观指标评分。

    推荐理由:该基准用统一任务和双层指标覆盖三类视频输入,便于比较不同 MLLM 在复杂、状态依赖任务中的生成与对齐表现。

  11. Hacker News64

    Inception Labs 发布 Mercury 3 扩散语言模型,主打每秒千 token 级速度

    Inception Labs 发布 Mercury 3,称其为目前最强的扩散大语言模型,在多项基准上与 GPT-6 Luna 和 Claude Haiku 5.5 持平或更优,NVIDIA GPU 上单卡推理 1,068 tokens/秒。

    推荐理由:原文给出与 GPT-6 Luna、Claude Haiku 5.5 的基准对比、价格和上下文窗口等具体数字,便于评估其在速度敏感场景中的位置。

10月19日周一
  1. 36氪48

    智元联合NVIDIA及多所高校推出世界模型评测平台WorldOracle

    智元联合NVIDIA及多所高校推出世界模型评测平台WorldOracle并开放评测提交。平台收录335条真实操作轨迹,约四成交互片段含失败或次优操作,以真实执行结果检验模型预测能力;对7款世界模型的测试显示,部分模型虽能较准确还原机械臂动作,但对物体状态预测仍存在较大偏差,长时序预测表现也明显下降。

    推荐理由:平台用真实操作轨迹和近四成失败片段评测世界模型,能更直接暴露长时序与物体状态预测上的真实差距。

  2. 钛媒体46

    实测 Muse 与 Dot:两款个人 Agent 在中文日常任务中的表现对比

    作者用苹果日历、126 邮箱、大众点评、京东、淘宝等真实中文场景,对独立应用 Muse 和 ChatGPT 内的 Dot 做了对比测试。Muse 在手机原生日程、健康数据同步和 Threads 发帖上更顺畅,并能从淘宝商品页提取定金尾款节点直接建日程;Dot 在云端环境里完成了可修改、可多人协作的五人旅行 AA 账本网页,并指出邮件附件时间与正文不一致。

    推荐理由:作者在日程、邮箱、电商等真实中文任务里逐一对比 Muse 和 Dot,把两者在系统权限、云端接管和共享协作上的差异拆得很具体。