跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

248 条精选近 30 天 223 条共收录 292 条

更新

精选归档 · 第 2 页

10月29日周四第 21–40 条
  1. 量子位80

    Google发布Gemini 4 Carbon,Artificial Analysis智能指数5.0以59分登顶

    Google发布Gemini 4 Carbon,在Artificial Analysis智能指数5.0中以59分登顶。其Terminal-Bench 4.0和GraphWalks成绩分别为65.2%和96.2%,均高于Claude Opus 5.5;安全评测中SEC-bench Pro得分88.2%,Gray Swan IPI攻击成功率为0.0%。

    推荐理由:原文给出Gemini 4 Carbon的编程、漏洞修复基准成绩及首发定价,便于对照Claude Opus 5.5的能力和成本。

  2. 量子位69

    扩散智能发布 350亿参数 Clover-35B-A3B-Preview 扩散语言模型

    扩散智能发布扩散语言模型 Clover-35B-A3B-Preview,总参数350亿,每个 token 激活约30亿参数,可用于代码生成、网页操作和工具调用。

    推荐理由:文章结合页面生成实操与连续工具调用演示,列出与 Jev 的速度、成功率对比、Gemini 速度表现和代码评测数据,可用于比较扩散语言模型的 Agent 效率。

  3. Latent Space77

    AINews:Google DeepMind 发布 Gemini 4 Carbon,登顶多项榜单并先向网络安全防御者开放

    Google DeepMind 发布 Gemini 4 Carbon,将其定位为网络安全与长程任务前沿模型,先通过 Fairwind Program 向可信网络安全防御者开放,并称将尽快扩大开发者访问。

    推荐理由:将 Carbon 的独立榜单成绩、网络安全基准、定价和开放条件并列,呈现能力表现与当前可获得性之间的差异。

  4. Hacker News58

    DAYJOB: Tax 评测 50 项专业税务任务,Claude Sonnet 5.5 领先

    Surge AI 推出 DAYJOB: Tax,以 50 个专业税务环境评测 AI 智能体识别遗漏事项、处理冲突证据并完成交付物的能力。任务覆盖八类税务工作,要求产出报税表、工作底稿、技术复核或客户建议,工作区共含 1,789 个文件。

    推荐理由:该评测以 50 个专业税务工作流检验智能体能否主动发现客户遗漏的关键问题,其低通过率可用于观察模型专业判断与任务交付之间的差距。

10月28日周三
  1. Hugging Face Blog80

    NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重模型与 Granary v2 多语种数据管线

    NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,并开放 Granary v2 多语种数据管线;前者集成 40 种语言转录、31 种语言与英语互译、说话人区分和英文音频问答。

    推荐理由:原文给出从提示词优化到数据构造、LoRA 微调、检查点选择和评测的完整医疗语音适配流程,可直接用于复现同类场景。

  2. TechCrunch75

    Nvidia 发布 Nemotron 3.5 Transcribe 开放权重语音转录模型

    Nvidia 发布开放权重转录模型 Nemotron 3.5 Transcribe,支持最多 40 种语言,并推出开源语音数据集 Granary v2。公司称,该模型可在英语与 31 种语言之间双向翻译,处理最长 1 小时录音、区分最多 8 位说话者,并在 Hugging Face Open ASR Leaderboard 等基准上超过竞争对手。

    推荐理由:开放权重与单芯片运行范围,结合语言支持、录音时长和基准信息,为会议及医疗转录场景的模型选型提供具体参考。

  3. 36氪38

    智元 GO-3 Nano Preview 登顶 RoboTwin,平均成功率 85.01%

    RoboTwin最新榜单显示,智元 GO-3 Nano Preview以85.01%的平均成功率位列第一。该基准主要考察复杂场景下的双臂协同操作与环境泛化能力,覆盖目标识别、动作协调及环境变化适应等维度。

    推荐理由:RoboTwin榜单呈现复杂场景下双臂协同与环境泛化的测试口径,可用于对照模型在复杂操作任务中的相对表现。

  4. 36氪59

    天数智芯首次开放天垓300实机演示,单卡整体吞吐达H200的1.05倍

    天数智芯10月28日在上海首次开放天垓300实机演示,第三方实测折算单卡整体吞吐达H200的1.05倍。IXL144超节点集成144颗GPU,官方称为业界密度最高的单机柜GPU超节点;GPU+XPU异构部署AFD分离方案已跑通,推理延迟降低60%。

    推荐理由:给出天垓300的第三方折算吞吐、144 GPU 超节点密度和异构部署延迟数据,便于对照评估其工程表现。

  5. HF Daily Papers49

    VibeVideoBench:评测多模态智能体的代码驱动视频生成能力

    VibeVideoBench 提出一个评测多模态智能体代码驱动视频生成能力的基准,包含239项中英文自包含任务和12个类别。每项任务要求智能体在无图像或视频生成模型的沙箱内用代码产出带声音的 MP4,并在1小时内完成;评估结合交付规范程序检查、约13k项任务量规和3个VLM评审组。

    推荐理由:该基准覆盖239项中英文任务,并用分层量规与人类偏好对照,揭示智能体常因时间管理影响最终视频交付。

  6. HF Daily Papers50

    CodeCap-Bench 论文提出以代码作为视频字幕的评测基准

    CodeCap-Bench 论文提出以可执行代码作为视频内容的补充表示,并推出评测多模态模型代码字幕生成能力的基准。该基准包含323个视频、五类结构化2D内容、细粒度标注和多层级评测框架。实验显示,代码字幕在问答推理准确率和视频重建保真度上优于自然语言字幕,但领先专有模型仍难以忠实呈现复杂时序,开源模型明显落后。

    推荐理由:论文用323个视频和五类结构化2D内容构建基准,并同时比较问答与视频重建结果,便于比较模型在复杂时序描述上的差异。

  7. HF Daily Papers35

    LociArt 提出统一范式实现自由风格局部视频风格化

    LociArt 提出统一范式,通过生成式细化网络实现自由风格的局部视频风格化,并保持非目标内容与较强的时间一致性。GRNStyle 引入极坐标风格感知掩码及表示—几何条件控制,结合自动化数据管线构建包含 100K 个局部风格化配对的 LociArt-100K Dataset。

    推荐理由:LociArt 将区域风格控制、自动化配对数据构建与专用基准整合到统一框架,便于对照评估局部风格化质量、非目标保留和时序稳定性。

  8. 36氪71

    8点1氪:iPhone Duo内屏开裂可免费换机,A股仅剩贵州茅台一只千元股,外交部回应姆巴佩遭多品牌解约

    36氪“8点1氪”在10月28日汇总iPhone Duo内屏开裂免费换机、A股千元股变化、姆巴佩代言解约回应及多项AI进展。OpenAI发布GPT-6.1 Terra,提升视觉推理与计算机操作,标准API价格较GPT-5.6 Terra和GPT-6.1 Sol低50%;Google DeepMind以研究预览形式发布Genie 4,支持提示改变场景并生成匹配模拟世界的实时音频。

    推荐理由:将iPhone Duo换机、A股千元股变化、姆巴佩代言解约及多家公司的AI模型进展并排整理,便于对照消费、资本市场和模型发布三类信号。

  9. HF Daily Papers48

    WeVisCut:单智能体统筹从旁白到长视频的完整剪辑流程

    WeVisCut 研究提出一套脚本转长视频系统,用单一 9B 策略协调视频编辑工具、维护共享制作状态并恢复失败。四阶段数据管线结合编辑反演与验证回放,基于 3,750 个成片生成超过 130K 个训练样本,并提出 100 项任务和 5 项指标。

    推荐理由:该研究把长视频编辑决策、故障恢复与 token 成本纳入同一 9B 策略,呈现任务专用智能体在质量与效率上的取舍。

  10. HF Daily Papers47

    AskStream 基准:流式视频理解在不确定性下何时主动提问、问什么

    研究团队提出 AskStream 多轮基准,用于评估流式视频理解模型在不确定性下主动询问缺失信息的能力。该基准覆盖视频和用户两类不确定性,包含 4 类任务、8 个子任务、438 个视频及 2,714 个人工标注的帧级时间窗口,动作分为等待、提问和回答。在选择题和开放式设置中,最强模型的 Ask-F1 也仅为 52.18%,反映出模型主动寻求信息能力的局限。

    推荐理由:AskStream 将流式视频交互拆分为等待、提问和回答三类动作,并用多轮数据呈现模型主动补全信息的关键难点。

  11. HF Daily Papers49

    IntReal 提出真实场景多模态交错生成数据集与评测基准

    IntReal 提出面向真实场景的多模态交错生成数据集与评测套件,用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本,IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。

    推荐理由:IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项,配套数据可用于针对性后训练与改进交错生成。

10月27日周二
  1. 钛媒体78

    “跑高分”不等于“能交付”:AI 排行榜正在经历信用重估

    传统 AI 排行榜的信用正在重估:BenchLM 跟踪的基准中有 105 个百分制项目已饱和,榜首得分均超过 90 分。Surge AI 面向真实职场的 sudo L7、GDP.xlsx 和 DAYJOB 显示,模型在工程判断、长流程规划和信息遗漏上差距明显,旧榜高分不能直接代表可交付性。

    推荐理由:文章把榜单分数与真实交付拆开比较,并列出评测方利益、工具链和样本量等核查项,适合企业选型时建立更审慎的模型评估框架。

  2. 量子位74

    百度文心 Unlimited OCR 2 发布并开源,峰值 KV Cache 占用从 47GB 降至 1.77GB

    百度文心 Unlimited OCR 2 正式发布并开源,百页级单序列测试中的峰值 KV Cache 占用从 47GB 降至 1.77GB,减少约96%。SR-SWA按需筛选相关页面和视觉信息,无限解码机制通过分块处理、复用边界页缓存并及时释放其余缓存;16路并发端到端吞吐量从360提升至1315 Token/秒,约为标准解码的3.65倍。

    推荐理由:文章通过整本书实测与技术报告,拆解SR-SWA和分块解码的降缓存机制,并对比吞吐量、速度与文档解析质量。