跳到正文
8月7日周五
  1. Ai2 Blog46

    Ai2 推出 TutorMoments 评测预览版,衡量大模型在辅导中能否把握'介入与退让'的时机

    Ai2 推出 TutorMoments 评测框架预览版,基于 462 份美国一对一数学辅导转录稿(含逾 1500 个教师标注的关键时刻),以重放方式让大模型在决策点接管辅导并按'是否适时介入或退让'打分。

    推荐理由:原文给出 7 个大模型在辅导决策点的对照分数与提示词效果,读者可据此判断模型在'介入与退让'权衡上的实际难度。

7月29日周三
  1. xAI News65

    xAI 发布语音模型 Grok Voice Think Fast 2.0

    xAI 发布语音到语音模型 Grok Voice Think Fast 2.0,AA Speech-to-Speech Quality Index 得分 82.9%,高于 GPT-Realtime-2.1 的 79.1% 和 Gemini 3.1 Flash 的 69.5%。

    推荐理由:逐项给出了与 GPT-Realtime-2.1、Gemini 3.1 Flash 等模型的语音基准对比、转写在噪声环境下的优势,以及 8 月 5 日的迁移时间和 $0.08/min 定价,便于评估升级收益。

7月7日周二
6月25日周四
  1. Ai2 Blog45

    混合模型在哪些 token 上预测更好?Ai2 对 Olmo 3 与 Olmo Hybrid 的逐 token 损失分析

    Ai2 对其 7B 模型 Olmo 3(Transformer)与 Olmo Hybrid 做了逐 token 对比,发现混合架构在表义类词(名词、动词、形容词等)上的损失比 Transformer 低约 0.04。

    推荐理由:用逐 token 的损失对比揭示了混合架构在表义词类上的具体优势以及在复制场景下的失效,为架构评估提供了比平均损失更细的维度。

2025年11月17日周一
  1. xAI News67

    xAI发布Grok 4.1,已面向所有用户开放

    xAI于11月17日发布Grok 4.1,现已面向所有用户在grok.com、𝕏和iOS/Android应用上线,Auto模式立即生效并可在模型选择器中显式选用。

    推荐理由:原文给出了LMArena排名、用户偏好胜率与幻觉率等多项具体评测数据,便于和当前主流模型做横向对比。

2025年8月28日周四
2024年4月12日周五
2024年3月28日周四
  1. xAI News67

    xAI 发布 Grok-1.5:128K 上下文与改进的推理能力

    xAI 发布 Grok-1.5 模型,支持 128K tokens 上下文长度,主打长上下文理解与改进的推理能力;在 MATH 上取得 50.6%(4-shot)、GSM8K 90%(8-shot)、HumanEval 74.1%(0-shot)、MMLU 81.3%(5-shot),并在 Needle In A Haystack 评测中实现 128K 长度内的完美检索。

    推荐理由:原文提供了与 GPT-4、Claude 3 Opus、Gemini Pro 1.5 等模型的横向基准对比,读者可以据此判断 Grok-1.5 的相对性能位置。