xAI 发布 Grok 图像生成模型 Aurora,采用自回归 MoE 架构
xAI 发布 Grok 新一代图像生成模型 Aurora,采用自回归混合专家架构,已在 X 平台向部分国家开放,一周内全量上线。Aurora 基于海量互联网样本训练,主打照片级真实感与文本指令遵循度,能精确渲染真实实体、文字、商标与人像。
推荐理由:原文给出了 Aurora 的自回归 MoE 架构、原生多模态图像输入与编辑能力,及其在 X 平台的分阶段上线节奏,便于与同代图像生成模型做横向对比。
xAI 发布 Grok 新一代图像生成模型 Aurora,采用自回归混合专家架构,已在 X 平台向部分国家开放,一周内全量上线。Aurora 基于海量互联网样本训练,主打照片级真实感与文本指令遵循度,能精确渲染真实实体、文字、商标与人像。
推荐理由:原文给出了 Aurora 的自回归 MoE 架构、原生多模态图像输入与编辑能力,及其在 X 平台的分阶段上线节奏,便于与同代图像生成模型做横向对比。
xAI 启动 Grok API 公测,开发者可在 console.x.ai 注册,公测持续至年底,期间每月赠送 25 美元免费额度,同步预览新模型 grok-beta,支持 128K 上下文、函数调用与系统提示词,多模态版本将于下周开放。
推荐理由:API 与 OpenAI 和 Anthropic 的 REST 接口完全兼容,已有相关集成的开发者只需替换 base_url 即可试用,迁移门槛很低。
xAI 发布 Grok-2 与 Grok-2 mini Beta,已在 𝕏 平台对 Premium 和 Premium+ 用户开放测试,企业 API 将于本月晚些时候上线。
推荐理由:原文给出 LMSYS Elo 排名与多项学术基准对比,读者可直接看到 Grok-2 与 GPT-4 Turbo、Claude 3.5 Sonnet 的相对位置。
xAI 宣布完成 60 亿美元 B 轮融资,参与方包括 Valor Equity Partners、Vy Capital、Andreessen Horowitz、Sequoia Capital、Fidelity Management & Research Company、Prince Alwaleed Bin Talal 和 Kingdom Holding 等。
推荐理由:B 轮 60 亿美元的金额与投资人构成,加上官方明确的产品、基础设施、研发三项用途,对照来看可读出资源投入的重心。
xAI 发布首个多模态模型 Grok-1.5V 预览版,可处理文档、图表、截图和照片等视觉信息,将向早期测试者和现有 Grok 用户开放。
推荐理由:横向对比了 GPT-4V、Claude 3、Gemini Pro 1.5 在多模态基准上的表现,并同步开源真实空间理解基准 RealWorldQA。
xAI 发布 Grok-1.5 模型,支持 128K tokens 上下文长度,主打长上下文理解与改进的推理能力;在 MATH 上取得 50.6%(4-shot)、GSM8K 90%(8-shot)、HumanEval 74.1%(0-shot)、MMLU 81.3%(5-shot),并在 Needle In A Haystack 评测中实现 128K 长度内的完美检索。
推荐理由:原文提供了与 GPT-4、Claude 3 Opus、Gemini Pro 1.5 等模型的横向基准对比,读者可以据此判断 Grok-1.5 的相对性能位置。
xAI 以 Apache 2.0 协议开源 Grok-1 模型权重与网络架构,这是一个 314B 参数的 MoE 大语言模型。模型为未经任何应用(如对话)微调的原始基础检查点,2023 年 10 月由 xAI 使用基于 JAX 和 Rust 的自定义训练栈从零完成预训练,每个 token 上激活 25% 权重,权重与使用说明已在 github.com/xai-org/grok 公开。
推荐理由:xAI 以 Apache 2.0 开源 314B 参数 MoE 模型 Grok-1 的基础权重与架构,读者可以据此了解该模型在 MoE 设计与预训练工程上的具体做法。
xAI 发布 PromptIDE,一款面向提示工程与可解释性研究的集成开发环境,向早期访问计划成员开放对 Grok-1 的透明访问。
推荐理由:原文给出 PromptIDE 的 SDK 编程模型与 token 级分析细节,读者可据此判断它在 Grok-1 提示工程中的实际可用度。
xAI 发布 Grok 聊天助手,由其自研大模型 Grok-1 驱动,目前以限量早期测试向美国用户开放。Grok-1 在 HumanEval 上得 63.2%、MMLU 上得 73%、GSM8k 上得 62.9%、MATH 上得 23.9%,在同算力档下超过 GPT-3.5 和 Inflection-1,但仍落后于 GPT-4。
推荐理由:给出了 Grok-1 在 GSM8k、MMLU、HumanEval 等基准上的成绩,读者可与 GPT-3.5、GPT-4 等模型横向对比。