跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

247 条精选近 30 天 222 条共收录 291 条

更新

评测基准的精选

11月2日周一第 1–20 条
  1. 钛媒体76

    可灵 4.0 实测:零真人出镜制作探展视频,距离一站成片仍有差距

    奇点研究社用可灵 4.0 实测 AI 人物与展会实拍素材结合的探展视频,部分镜头接近可交付状态,但稳定成片仍需反复重试。测试拆分为 7 组画面并准备约 3000 字提示词,模型能完成部分推移运镜和音画同出,也会出现主体替换、一镜到底变成硬切、修改后声音乱码等问题。

    推荐理由:实测将可灵 4.0 的单镜头表现与整片交付拆开比较,具体呈现了复杂指令、连续叙事和后期修改中仍需人工兜底的环节。

  2. 钛媒体80

    价格战在中国大模型行业结束了,但成本战才刚开始

    中国大模型行业的价格战已结束,竞争焦点正转向客户完成单任务的实际成本。10月15日至24日,阶跃、DeepSeek、MiniMax、讯飞和月之暗面连续发布新模型;其中 DeepSeek V4.1 Flash-1017 单任务成本由0.40美元降至0.26美元,MiniMax M3.1 Flash 的 Agent 成本降低70%。

    推荐理由:通过对比五家国内厂商的模型更新、任务成本与定价选择,呈现竞争从 API 标价转向任务交付效率的变化。

  3. 36氪66

    美团发布 LongCat-2.5 原生多模态大模型,总参数 1.6 万亿

    美团发布新一代原生多模态大模型 LongCat-2.5,面向长程智能体任务,总参数量为 1.6 万亿。该模型全程在国产算力上训练,36氪称其是目前国产算力上完成的最大训练任务。评测结果显示,其在多项主流基准中的成绩介于 Claude-Opus-4.8 与 Claude-Opus-5 之间,部分评测超过 Claude-Opus-5。

    推荐理由:材料集中给出模型定位、参数量、训练算力来源和基准对标,读者可据此比较其技术定位与相对表现。

11月1日周日
  1. The Decoder70

    Vals 研究称中国 AI 模型政治立场复杂,整体亲政府倾向低于预期

    Vals 的研究以政治立场而非事实准确性衡量受测中国 AI 模型,发现其整体亲政府倾向低于预期,但模型间差异显著,拒答默认记为中立。简体中文提示比英语、俄语和西班牙语更常引出亲政府回答,多数受测中国模型也很少直接拒答。以 Qwen3.6 35B 为基础、由 Thomson Reuters 微调的 Thomson 1.0 Small,采用官方立场的比例从 84.6% 降至 15.0%。

    推荐理由:Vals 研究比较提示语言、回答格式、工具接入与定向微调,为理解政治倾向如何随交互条件变化提供了一套分层视角。

  2. The Decoder51

    Google 团队提出 StreamVibe,让视频 AI 判断何时主动提供帮助

    Google 牵头的研究团队提出 StreamVibe 视频智能体,可通过视频理解明确、未言明及执行中变化的意图,并判断何时主动开口。团队以超过183小时的日常与软件录制构建约4,100个样本的基准,由Gemini 2.5 Flash提出帮助时机和内容,再由4名人工评估者一致认可。

    推荐理由:研究用约4,100个样本检验视频智能体的主动帮助能力,并以长视频连续交互揭示回应时机、任务记忆和意图变化的累积误差。

  3. Hacker News59

    GPT-5.6 Sol 在《异形工厂》和平模式下完成自动化通关

    作者让运行在 Codex 中的 GPT-5.6 Sol 以低思考级别完成《异形工厂》和平模式流程,用时 13.5 小时游戏时间并实现火箭发射。测试通过 Python 库让模型在玩家距离和战争迷雾等限制下操作游戏,但蓝色科技阶段出现扩展问题,后期多次依靠人工搬运物资弥补生产线连接失败;整体表现优于此前无法使用运输带的 GPT-5.5。

    推荐理由:作者公开完整运行、生产统计与失败细节,并对比 GPT-5.5 的运输带使用表现,为长时游戏智能体的能力评估提供具体案例。

  4. Hacker News66

    Jepsen测试ParticleDB 1.1.4至1.1.18.11.rc-22,报告96项问题

    Jepsen测试ParticleDB多个版本并报告96项问题,多数可在无故障的单节点环境触发。到1.1.18.11.rc-22,除10项外的问题均看似已解决,但默认occ仍会丢失已提交写入,serializable仍出现内部异常与Lost Update。Orkes随后发布1.1.19-rc.13,声称解决其余问题;Jepsen未测试该版本,本研究由Orkes资助。

    推荐理由:Jepsen以多版本对照和单节点测试梳理ParticleDB的96项问题,并区分已修复项目与仍存在的写丢失及事务异常。

10月31日周六
  1. 量子位47

    新芯航途发布X7 Ultra智驾芯片,700 TOPS、NPU计算利用率达98.7%

    新芯航途发布X7 Ultra智驾芯片,700 TOPS,NPU计算利用率达98.7%。芯片采用超大核NPU、专用计算引擎和统一AI工具链,并以真实量产智驾模型进行“大模型算力”评测,量化输出与FP32基准模型相似度超过99.99%。官方称,相比行业旗舰产品,内存带宽消耗降低80%、能效提升100%,测试涉及Momenta的R7世界模型。

    推荐理由:文章以真实量产智驾模型为测试对象,拆解X7 Ultra的NPU架构、AI工具链与车规安全设计,便于理解模型需求如何映射到端侧芯片效率。

  2. Hacker News55

    pgrust v0.4-beta 发布 Gravity 查询引擎,ClickBench 上最高比 ClickHouse 快 3 倍

    pgrust v0.4-beta 发布新查询引擎 Gravity,在支持完整 Postgres SQL 方言和类型系统的同时,ClickBench 性能最高比 ClickHouse 快 3 倍。

    推荐理由:文章拆解了 Gravity 从 Postgres 查询计划到 Lisp IR 和机器码的编译链路,并说明函数内联、延迟物化与列式规划算法的实现。

  3. HF Daily Papers49

    Glance:让生成器自身充当重排序器

    Glance论文提出让生成器兼任重排序器,通过轻量适配器和指针头从共享预填充中为候选段落打分,仅保留一个9B骨干。每个决策技能仅增加约0.1 GiB内存;经39分钟MS MARCO微调后,其SciFact和NFCorpus nDCG@10分别为0.741和0.345,高于bge-reranker-v2-m3的0.721和0.326。

    推荐理由:Glance将重排序与生成整合到单一9B骨干,仅增加约0.1 GiB内存,并以微调后的指标对比现有重排器,为RAG架构选型提供具体参考。

10月30日周五
  1. 36氪46

    启元机器人推出 PrimeSim 世界模型,登顶 WorldSimProbe LIBERO 榜单

    启元机器人推出 PrimeSim 世界模型,并登顶 WorldSimProbe LIBERO 榜单,刷新机器人仿真表现。PrimeSim 面向机器人训练构建可交互、可试错、可持续学习的虚拟世界,用于策略验证和强化学习。测试中,使用 PrimeSim 进行强化学习后,策略成功率从61.7%提升至73.2%。

    推荐理由:PrimeSim以可交互、可试错的虚拟环境支持机器人强化学习,并给出策略成功率从61.7%升至73.2%的测试结果,为评估仿真训练效果提供参照。

10月29日周四
  1. 量子位68

    天数智芯发布天垓300与彤央TY1200,现场对标英伟达GPU

    天数智芯发布天垓300、彤央TY1200与天数智算软件栈,并在现场将两款GPU对标英伟达 H200 和 Jetson Thor T5000。现场随机文生图任务中,天垓300用时95.6秒,H200为112秒;第三方测试中其折算单卡端到端吞吐为H200的1.05倍,TY1200运行Qwen3.8-27B的性能则为Thor T5000的138%。

    推荐理由:文章同时给出云端与端侧的现场对标数据,并拆解 Agent 辅助部署、调优和算子开发的效率变化,便于比较硬件与软件栈价值。

  2. 钛媒体80

    Kimi K3.1 Pro发布后遭遇额度成本争议与全球化难题

    数智奔流通过五项创作任务实测Kimi K3.1 Pro,并分析其能力升级后面临的额度成本与全球化难题。模型在Artificial Analysis智能指数测试中得分55,位列全球第四、开源模型第一;API输入价格从每百万Token 20元降至13元,输出价格从100元降至68元。

    推荐理由:五项创作任务的额度对比显示,机械键盘仅消耗1.46%,多轮修改的《桃花源记》达6.91%,为评估K3.1 Pro实际成本提供具体参照。

  3. 量子位68

    分子之心发布 MMDesign 技术报告:19 个设计项目成功 18 个,6 个 GPCR 靶点全部命中

    分子之心发布 MMDesign 技术报告,19 个 AI 蛋白质从头设计项目中有 18 个获得实验确认的结合分子,6 个受测 GPCR 靶点全部命中。每个项目仅测试 9-50 个候选分子,项目成功率为 94.7%,全部 453 个受测候选中 139 个确认结合,候选命中率为 30.7%。

    推荐理由:报告提供跨靶点、多模态的湿实验数据,并对比 MMFold 与 AlphaFold 3 的基准表现,便于评估设计工作流的可复用性。

  4. 量子位80

    Google发布Gemini 4 Carbon,Artificial Analysis智能指数5.0以59分登顶

    Google发布Gemini 4 Carbon,在Artificial Analysis智能指数5.0中以59分登顶。其Terminal-Bench 4.0和GraphWalks成绩分别为65.2%和96.2%,均高于Claude Opus 5.5;安全评测中SEC-bench Pro得分88.2%,Gray Swan IPI攻击成功率为0.0%。

    推荐理由:原文给出Gemini 4 Carbon的编程、漏洞修复基准成绩及首发定价,便于对照Claude Opus 5.5的能力和成本。