OpenAI 发布 GPT-Rosalind-6 系统卡补充，披露 GeneBench Pro v13 最高推理预算单次尝试成功率为 37.7%

2 模型数据与训练

GPT-Rosalind-6 使用与 GPT-6 Astra 相同的权重。本次发布未添加训练数据，也未进行额外的后训练。底层模型的数据和训练详情见 GPT-6 Astra 系统卡。¹

3.2 基因组学与定量生物学

GeneBench Pro v13 测试智能体规划并执行生物数据定量分析的能力。我们根据每个模型在每种推理预算下针对 129 个问题给出的 7 次回答，估算单次尝试成功率。在所测试的最高推理预算下，GPT-Rosalind-6 的单次尝试成功率为 37.7%，GPT-Rosalind-5.5 为 16.7%。评估采用了该基准专用配置，与生产环境不同。

4.1.1 生物与化学

与 GPT-6 Astra 一样，我们将此次发布视为在生物与化学领域具备高能力。下文介绍我们据以得出这一结论的评估。我们采用 GPT-6 Astra 系统卡中描述的四项高能力评估和四项关键能力评估。针对 GPT-Rosalind-5.5 报告的困难负样本蛋白质结合评估和 DNA 序列设计评估已停止使用。

高能力评估测试湿实验知识和故障排除能力。关键能力评估测试生物设计能力，这类能力可能帮助专家开发高度危险的新型威胁。这些评估提供的是特定能力方面的证据，而不是对造成生物危害能力的完整测试。关键能力阈值是基于专家判断的初步估计，可能随着评估的完善而发生变化。

以下结果报告实际表现；对于高能力评估，还报告经拒答调整后的分数。pass@1 衡量单次尝试的成功率。该调整将拒答视为正确答案，以估算安全训练原本可能掩盖的能力。对于生物风险知识，我们在此调整后重新计算共识答案。GPT-6 Astra 的参考值采用其系统卡中报告的评估运行结果。

4.2.2 模型行为与系统安全防护

这些评估在设计时有意提高了难度。它们围绕现有模型尚不能给出理想回答的案例构建，因此这一点也反映在下方分数中。发布后，我们继续监测这些类别，以评估在线表现，并视情况进一步调整安全防护措施。

4.2.2.1 生物与化学安全防护

GPT-Rosalind-6 的设计目标是在合法的高级生物研究方面，比一般可用的 ChatGPT 模型更有用。这支持先进生命科学工作流，其中包括一些双重用途主题；对于这些主题，GPT-6 Astra 在 General Access 中可能会拒绝提供帮助。对于仍可能显著助益严重生物武器化的请求，我们仍会调优模型，使其拒绝或安全回应。此项训练与我们的分类器及离线缓解措施的训练分开进行，以降低各项安全防护措施之间的相关性。

为评估这些模型级拒答的质量，我们跟踪模型对源自留出的合成数据、红队测试和生产数据的提示所作回答的安全性。这些基准及其评分方式会持续更新，因此结果无法直接与过去的系统卡相对应。

表 10报告了我们整套生物安全基准测试的结果，同时涵盖模型行为和安全防护措施。我们注意到，由于 GPT-Rosalind-6 属于受信任访问部署，因此主要参考了生物安全 - 严重基准测试的结果。生物安全 - 良性基准测试用于评估模型在一组良性生物学和操作问题上的指令遵循情况（在不拒答、也不附带保留意见的情况下充分提供帮助）。其余基准测试分数显示，在与生物武器化有关的提示词上，模型回答通过所配置安全评分器的比例。未通过的回答会根据这一评分标准被标记，但这并不一定意味着该回答明确不安全。

4.2.2.3 安全与对齐评估

我们还评估 GPT-Rosalind-6 的指令遵循能力、诚实性、抗提示注入能力，以及使用工具时的行为。其他评估考察自动化监控器能否检测有害行为，以及模型能否规避检测，或在被要求这样做时改变其推理过程。

在下表中，↑ 表示分数越高越好，↓ 表示分数越低越好。GPT-6 Astra 的结果供作背景参考。由于某些运行的评估版本、推理设置、评分方式和样本覆盖范围有所不同，因此这些比较仅用于描述。“不可用”表示尚未找到数值参考结果。≈ 表示从已发表图表中读取的近似值。

4.2.4 安全与访问控制

获准使用 GPT-Rosalind-6 的客户必须维护与访问能力更强的生命科学模型相适应的安全控制措施。这些措施包括严格的身份和访问管理、管理员控制、与获批部署相适应的最小权限访问控制，以及在用户不再有正当需求时撤销其访问权限的流程。

模型访问和数据保留安排需单独审批。客户必须满足其获批部署所对应的安全和监督要求。

与其他 OpenAI 部署一样，我们预计会继续从实际使用中学习。我们将监测安全信号、客户体验和新出现的滥用模式，并可能随着部署的发展更新 GPT-Rosalind-6 的安全防护措施。