跳到正文
2024年12月9日周一
  1. xAI News60

    xAI 发布 Grok 图像生成模型 Aurora,采用自回归 MoE 架构

    xAI 发布 Grok 新一代图像生成模型 Aurora,采用自回归混合专家架构,已在 X 平台向部分国家开放,一周内全量上线。Aurora 基于海量互联网样本训练,主打照片级真实感与文本指令遵循度,能精确渲染真实实体、文字、商标与人像。

    推荐理由:原文给出了 Aurora 的自回归 MoE 架构、原生多模态图像输入与编辑能力,及其在 X 平台的分阶段上线节奏,便于与同代图像生成模型做横向对比。

2024年8月13日周二
2024年4月12日周五
2024年3月28日周四
  1. xAI News67

    xAI 发布 Grok-1.5:128K 上下文与改进的推理能力

    xAI 发布 Grok-1.5 模型,支持 128K tokens 上下文长度,主打长上下文理解与改进的推理能力;在 MATH 上取得 50.6%(4-shot)、GSM8K 90%(8-shot)、HumanEval 74.1%(0-shot)、MMLU 81.3%(5-shot),并在 Needle In A Haystack 评测中实现 128K 长度内的完美检索。

    推荐理由:原文提供了与 GPT-4、Claude 3 Opus、Gemini Pro 1.5 等模型的横向基准对比,读者可以据此判断 Grok-1.5 的相对性能位置。

2024年3月17日周日
  1. xAI News70

    xAI 以 Apache 2.0 开源 Grok-1 模型权重与架构

    xAI 以 Apache 2.0 协议开源 Grok-1 模型权重与网络架构,这是一个 314B 参数的 MoE 大语言模型。模型为未经任何应用(如对话)微调的原始基础检查点,2023 年 10 月由 xAI 使用基于 JAX 和 Rust 的自定义训练栈从零完成预训练,每个 token 上激活 25% 权重,权重与使用说明已在 github.com/xai-org/grok 公开。

    推荐理由:xAI 以 Apache 2.0 开源 314B 参数 MoE 模型 Grok-1 的基础权重与架构,读者可以据此了解该模型在 MoE 设计与预训练工程上的具体做法。

2023年11月3日周五
  1. xAI News66

    xAI 推出 Grok 聊天助手,公布底层大模型 Grok-1 基准成绩

    xAI 发布 Grok 聊天助手,由其自研大模型 Grok-1 驱动,目前以限量早期测试向美国用户开放。Grok-1 在 HumanEval 上得 63.2%、MMLU 上得 73%、GSM8k 上得 62.9%、MATH 上得 23.9%,在同算力档下超过 GPT-3.5 和 Inflection-1,但仍落后于 GPT-4。

    推荐理由:给出了 Grok-1 在 GSM8k、MMLU、HumanEval 等基准上的成绩,读者可与 GPT-3.5、GPT-4 等模型横向对比。