跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

248 条精选近 30 天 223 条共收录 292 条

更新

精选归档 · 第 5 页

10月23日周五第 81–100 条
  1. TechCrunch75

    OpenAI 向所有客户开放 Decisions API 决策模型

    OpenAI 已向所有客户开放 Decisions API 决策模型,并在公开版本中加入语音和视觉模态。该模型由 ChatGPT Luna 重新配置以加快推理、降低成本,处理延迟由 1–3 seconds 降至 100、120、180 milliseconds。

    推荐理由:文章同时给出 Decisions API 的延迟数据、客户试用结果和榜单位置,便于比较其速度、成本与决策能力。

  2. The Verge · AI73

    Microsoft 称 Diagnostic Orchestrator 在病例测试中诊断准确率高于医生

    Microsoft 的多智能体系统 Diagnostic Orchestrator 在病例测试中诊断准确率高于医生,相关研究已发表于 Science。该系统由 OpenAI GPT-5 驱动,在《新英格兰医学杂志》病例测试中准确率约 83%,使用参考资料的医生约 36%,未使用时约 22%;急诊病例中分别为 80% 和医生平均 47%。

    推荐理由:文章汇总 SDBench 与医生对照的测试结果和临床验证缺口,为评估多智能体诊断系统进入真实临床的适用边界提供依据。

  3. Hacker News61

    ModelCompare 测试 12 个 AI 模型对人类的争议观点,29/35 次回答指向群体归属

    ModelCompare 对 12 个文本 AI 模型各提问 3 次,35 个回答中有 29 个认为人类把归属、身份或地位置于真相与原则之上。7 个模型每次都给出这一观点,4 个模型给出过不同答案,Grok 4.7 有 1 次拒答;另测 6 个图像模型各生成 2 张图,12 张中有 10 张围绕沉迷手机、消费与地球展开。全部 60 次调用成本为 $1.54。

    推荐理由:文章以 12 个文本模型和 6 个图像模型的对照测试,呈现模型在争议性观点上的共同模式,以及图文输出在主题选择上的差异。

  4. Hugging Face Blog71

    OlmoEarth v1.3 发布全球卫星嵌入模型、预计算数据与探索工具

    OlmoEarth v1.3 发布卫星嵌入模型及全球年度预计算数据,为全球每个 10m 像素提供 64 或 128 维嵌入,并上线 OlmoEarth Embeddings Explorer。

    推荐理由:模型不仅开放权重、数据和代码,还提供全球预计算嵌入与浏览器工具,读者可据此评估低算力遥感制图工作流。

  5. HF Daily Papers44

    Quant-Arena 发布 LLM 智能体量化交易研究评测基准

    Quant-Arena 发布公开基准和排行榜,评测 LLM 智能体能否基于真实 A 股数据完成端到端量化研究并构建交易策略。模型仅获得 2022--2023 年的反馈,随后冻结策略并在密封的 2024 年接受评估;现金账户评估器会计入交易约束、成本和基于模拟订单簿估算的市场冲击。

    推荐理由:Quant-Arena以历史反馈迭代策略、以密封年份检验收益,并纳入交易成本和约束,为比较LLM智能体的量化研究能力提供统一基准。

10月22日周四
  1. 腾讯混元69

    腾讯混元发布 Hy-SimulMT 中英双向实时同声传译模型

    腾讯混元发布 Hy-SimulMT,提供中英双向语音到语音实时同声传译,并支持在配置 TTS 后进行实时声音克隆,保留说话者声音特征。模型持续接收音频并同步输出译文文本与语音,面向会议、演讲和访谈等实时沟通场景。

    推荐理由:材料给出 RealSI 等基准、与职业译员的小规模对比及完整部署路径,读者可据此判断模型在实时翻译场景中的质量、延迟与可操作性。

  2. 钛媒体62

    淘宝、京东AI购、豆包与张大妈的双十一购物AI横评

    霞光AI实验室以预算不超过2500元的同一套双十一需求,实测淘宝AI助手、京东AI购、豆包和张大妈。淘宝推荐更贴近历史偏好且多轮对话连贯,京东提供历史价格和较完整攻略,豆包擅长跨平台拆单省钱但可能丢失上下文,张大妈能追问需求却难完成复杂组合。四款工具都能减少翻找、比价和计算优惠的时间,但体验显示其攻略并非标准答案,商家争夺的入口也从搜索排名延伸到AI推荐清单。

    推荐理由:通过同一购物需求横向测试四款购物AI,本文呈现它们在选品、比价、优惠计算和多轮交互上的差异,为购物Agent的实际决策能力提供参照。

  3. HF Daily Papers51

    研究溯源推理模型中的 {wait} 标记:其来自训练数据,RL 效应因配方而异

    一项对开放模型训练历程的研究发现,推理模型中的 {wait} 标记可由训练数据继承,而非由强化学习(RL)自行发明。在缺少该词的基座上,RL 显著提升 MATH-500 准确率时,{wait} 仍接近缺席;该词会在 OLMo-3 的中期训练阶段出现,并能由推理轨迹微调植入大多数缺少该词的基座。

    推荐理由:论文区分了 {wait} 的训练继承与特定 RL 配方的放大作用,并指出标记频率和 LLM 评审可能误判推理趋势。

  4. HF Daily Papers50

    UserArena:长程购物智能体的交互式用户模拟基准

    UserArena推出面向长程购物智能体的真实电商交互基准,含11,010名用户的64,729条会话轨迹,并支持生产A/B结果离线验证。基准覆盖566,102个商品和13种动作类型,五级评估涵盖输出有效性、局部决策、序列行为、个性化和结果。论文还提出On-Policy Trajectory Distillation(OPTD),在所评估模拟器中取得最高整体保真度,并最接近复现生产策略效应。

    推荐理由:UserArena提供真实购物长程轨迹与五级评估框架,可对照模拟器保真度及其对生产策略效应的复现程度。

  5. HF Daily Papers40

    DraMaze:利用未来感知记忆生成多样化微短剧剧本的多智能体流水线

    DraMaze 提出面向长篇微短剧剧本生成的多智能体流水线,以桥段记忆引导的演化树搜索和后向叙事依赖树提升情节多样性与叙事连贯性。论文还推出双语基准 MiDramaBench,用于评估不同剧本长度的逻辑与创意质量。实验覆盖三种骨干 LLM;在最多 60 集、60k words 的剧本上,因果模式重复率降低 32.1%,Logic 得分达到 82.5,比最佳基线高 8.5 分。

    推荐理由:论文展示了如何以桥段记忆引导演化树搜索,并按未来叙事目标组织历史记忆,兼顾长剧本的情节多样性与连贯性。

  6. Hugging Face Blog74

    NVIDIA 发布无需任务特定训练的 Kumo Relational 关系型基础模型

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,连接数据库并描述预测目标后,可在一次前向计算中直接生成结果,无需任务特定训练或特征工程。

    推荐理由:Kumo Relational直接面向关系型数据库预测,并以41项任务结果对照监督学习和专家特征流水线,呈现免任务训练的结构化数据建模路径。

10月21日周三
  1. HF Daily Papers53

    面向音视频推理的证据驱动评测基准 EvaOmni

    研究人员发布面向全模态大模型的音视频推理评测基准 EvaOmni,包含 392 段视频与 1027 道人工标注问答,覆盖 15 项能力以及检索定位、基础理解与复杂推理三个层级。

    推荐理由:针对全模态大模型的音视频推理评测,给出 15 项能力、三个层级和 392 段视频的覆盖,可对比主流模型在证据定位上的真实差距。

  2. Latent Space76

    DeepSeek 开源 DeepInfer 推理框架,披露单集群 155T tokens/日服务量

    DeepSeek 开源生产推理框架 DeepInfer,并披露其支撑 V4.1 Flash 的单集群 155T tokens/日、96% 输入缓存命中率等数据。

    推荐理由:文章对照 DeepInfer 与 vLLM 的复现结果,并拆解缓存命中率、硬件成本与收入口径,帮助读者区分生产服务能力、推理贡献利润和公司整体利润。

  3. HF Daily Papers48

    MMEnterprise-Bench 评测企业智能体处理持续演变的多模态职场记录

    研究团队提出 MMEnterprise-Bench,基于模拟协作项目中的动态多模态记录设置 1,613 个问题,评测企业智能体的证据推理、冲突消解与判断证据是否不足的能力。

    推荐理由:该基准把跨来源、跨时间冲突和多图证据纳入评测,为比较企业智能体在动态多模态职场记录中的可靠性提供测试框架。

  4. HF Daily Papers47

    Foundation4D:面向自动驾驶的统一感知与重建模型

    Foundation4D是一种面向自动驾驶的统一前馈模型,可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测,位姿图优化用于细化相机轨迹并组装目标轨迹。

    推荐理由:Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架,并发布含1,253段稠密标注驾驶片段的基准,便于比较联合训练的多任务收益。

  5. HF Daily Papers46

    TenetBench 构建条款锚定的俄语职业伦理评测语料,检验 LLM 对具体条款的遵循

    TenetBench 用 15 部俄语职业伦理规范构造 3,433 个冲突请求及对应的良性请求,评测 LLM 是否会违反具体条款。冻结流程的人工验证中,专业人士判定 0.995 的冲突任务可能成立,模型裁判与裁决标签的 Gwet's AC1 至少为 0.894,评测覆盖 1,860 个元素。

    推荐理由:TenetBench 将伦理条款映射为成对请求,可用于比较模型违规、拒答与警告行为,以及推理模式带来的差异。