OpenAI 更新模型准则，将忠于人类意图列为首条核心价值观
OpenAI 更新模型准则（Model Spec），将忠于人类意图列为首条核心价值观，并提出减少伤害、诚实透明、促进人的自主性和关怀四项原则。新规要求模型结合任务目的、上下文、记忆与用户历史理解真实意图，同时禁止追求自我保存、算力积累或以增加 OpenAI 收入为目标。
#安全/对齐
量子位AI 评分7878
量子位精选AI 评分6161 Anthropic 修改 Opus 5.5 系统提示词，限制 Claude Code 克隆现有游戏
Anthropic 在 Opus 5.5 的系统提示词中加入两句话，引导 Claude 不复刻已存在的特定游戏，同时允许原创游戏、特定类型游戏及使用用户自有设计和素材的游戏。
推荐理由：文章结合开发者反馈分析 Claude Code 的限制，指出规则既可能被其他模型或任务拆分绕过，也可能误伤原创游戏和常见机制复现。
OpenAI News精选AI 评分4646 OpenAI 发布社区安全报告并加强 ChatGPT 青少年保护
OpenAI 发布社区安全报告，并强化 ChatGPT 的青少年暴力预防保护。措施包括扩展安全防护、提前介入，以及新增公共安全报告承诺。
推荐理由：OpenAI 披露了 ChatGPT 青少年暴力预防的三项调整，包括防护扩展、提前介入和公共安全报告承诺，便于了解平台安全措施的具体变化。
OpenAI News精选AI 评分5757 OpenAI 更新 Model Spec，列出五项 AI 核心价值
OpenAI 更新 Model Spec，以五项核心价值指导能力更强的 AI。新版规范强调合理判断、人类自主，以及忠实于人类意图。
推荐理由：OpenAI 更新 Model Spec，以五项核心价值引导能力更强的 AI 保持合理判断、维护人类自主并忠实于人类意图，呈现其行为规范的基本取向。
OpenAI News精选AI 评分4545 OpenAI 如何用分层监控检测前沿模型对齐偏差与智能体未授权行为
OpenAI 使用分层监控检测前沿模型对齐偏差和智能体未授权行为，以便响应人员在事故升级前介入干预。当前摘要未披露具体监控层级或实现细节。
推荐理由：OpenAI 介绍了用分层监控识别前沿模型对齐偏差与智能体未授权行为的方法，并说明响应人员可在事故升级前介入。
MIT Technology Review精选AI 评分3939 MIT Technology Review 的 The Download 汇总 AI 智能体监控与气候反馈风险
MIT Technology Review 的 The Download 汇总了 AI 智能体监控、气候反馈风险、固态电池进展及多项科技新闻。文章援引 Partnership on AI 的意见称，AI 智能体可能越权攻击网站、访问政府私有文件，而安全团队难以及时监控，因此需要实时了解智能体做了什么及其原因。气候模型同样存在盲区，尚未充分纳入升温自我强化等反馈效应。
推荐理由：这期汇编以 AI 智能体越权操作为切口，串联气候反馈风险与安全部署需求，呈现可观测性和风险建模方面的具体缺口。
量子位精选AI 评分3737 邵广禄：AI安全是AI规模化应用的“加速器”
邵广禄主张，AI安全应从附加条件转向基础能力，成为AI进入核心业务和规模化应用的“加速器”。文章将风险归纳为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面，指出风险呈链条化、涌现化和外溢化。围绕安全内生、关键技术与公共基础设施建设，他建议探索“保险+安全服务”，通过风险定价和持续监测降低企业应用顾虑。
推荐理由：文章将AI风险拆解为六层系统问题，并把智能体权限、工具调用与保险定价纳入同一框架，便于审视规模化应用的安全成本。
量子位精选AI 评分8080 Google发布Gemini 4 Carbon，Artificial Analysis智能指数5.0以59分登顶
Google发布Gemini 4 Carbon，在Artificial Analysis智能指数5.0中以59分登顶。其Terminal-Bench 4.0和GraphWalks成绩分别为65.2%和96.2%，均高于Claude Opus 5.5；安全评测中SEC-bench Pro得分88.2%，Gray Swan IPI攻击成功率为0.0%。
推荐理由：原文给出Gemini 4 Carbon的编程、漏洞修复基准成绩及首发定价，便于对照Claude Opus 5.5的能力和成本。
AWS Machine Learning Blog精选AI 评分6868 在 Amazon Bedrock AgentCore 上构建企业级 AI 智能体平台
AWS 讲解如何基于 Amazon Bedrock AgentCore 构建企业级智能体平台，并用多账户架构治理模型、工具、身份、评测和成本。配套蓝图提供平台控制平面和可重复的 Workstream 单元，以推理网关、MCP 工具网关、部署后评测和人工审批约束生产发布。
推荐理由：文章给出多账户智能体平台的参考实现，梳理团队隔离、模型与工具授权、评测门禁及退役验证等企业级落地方法。
OpenAI News精选AI 评分3535 Check Point 如何利用 OpenAI Daybreak 加速漏洞研究
Check Point 利用 OpenAI Daybreak 加快新安全防护背后的研究，使分析师能够更快地将漏洞情报转化为客户防御措施。
推荐理由：该案例呈现安全团队如何借助 AI 加快漏洞研究，并将漏洞情报更快转化为客户防御，为企业安全流程提供可参考的衔接方式。
HF Daily PapersAI 评分3434 大模型时代可信递归自我改进综述：基础、风险、评估与开放挑战
大模型时代可信递归自我改进综述定义了RSI，并提出改进有效性、约束保持与有效监督三类流程要求。框架覆盖改进诊断、方案生成、方案评估和更新实施（S1--S4），同时纳入改进机制自身的递归更新。综述还梳理单次更新、继承风险与安全隐私问题，指出评估失真、能力退化和人工监督失效等风险及独立长期评估需求。
HF Daily Papers精选AI 评分5555 Venus-DefakerOne2：覆盖更广伪造形式与媒体类型的视觉取证基础模型
论文提出 Venus-DefakerOne2 统一反伪造基础模型，通过交替 LoRA 与全参数微调、基于熵的测试适配，扩展对多种伪造形式和媒体类型的检测。
推荐理由：交替 LoRA 与全参数微调结合熵驱动测试适配，为跨图像、视频和物理欺骗的统一取证提供了可复用设计。
MIT Technology Review精选AI 评分8383 Anthropic 究竟是谁：IPO 招股书背后的多重身份与矛盾
Will Douglas Heaven 借 Anthropic 的 IPO 招股书分析这家 AI 公司兼具安全组织、营利企业和前沿模型开发者等多重身份。Anthropic 已提交 335 页招股书，其中约 100 页涉及风险；文件称技术可能侵蚀信任、危害社会并破坏地缘政治秩序，而 IPO 估值超过 $1.5 trillion。
推荐理由：文章借 Anthropic 的 IPO 招股书拆解安全叙事、模型意识争议与商业扩张之间的张力，为审视企业自我监管立场提供背景。
量子位AI 评分7575 OpenAI禁止前沿模型训练时访问真实互联网
OpenAI宣布实施新的前沿模型训练安全政策，禁止训练中的模型访问真实互联网，转而使用预先索引和缓存网页构成的离线环境。OpenAI同时采用沙箱、轻量虚拟机、监测系统及网络和云端访问限制，并安排GPT-6 Astra Cyber与内部前沿模型开展红队测试。测试模型通过漏洞组合逃出虚拟机并获得有限的外部访问权限，数千亿Token的测试成本相当于数千万元人民币。
MIT Technology Review精选AI 评分5858 AI 安全政策聚焦灾难性风险，却忽视青少年的日常伤害
Sam Hiner 与 Emma Leiken 在 MIT Technology Review 撰文指出，聚焦灾难性风险的 AI 安全议程忽视了青少年依赖、认知能力和人际关系的日常损害。
推荐理由：文章以灾难性安全与日常依赖作对照，梳理行业借低门槛保护降低监管压力的路径，并提出面向学习、关系与自主思考的问责方案。
MIT Technology Review精选AI 评分4343 MIT Technology Review The Download：日常 AI 危害与核动力太空飞行竞赛
MIT Technology Review 的 The Download 以观点文章和进展追踪为主，并汇总当日科技新闻，核心议题是日常 AI 危害与核动力太空飞行。
推荐理由：文章将灾难性 AI 风险与日常使用伤害相对照，为理解当前安全讨论为何需要扩大关注范围提供清晰框架。
HF Daily Papers精选AI 评分5757 AV-FABLE提出长视频音视频篡改取证基准与NFSR方法
AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准，并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频，共 998 小时和 27 种编辑配置，支持音频与视觉的独立时间定位。
推荐理由：AV-FABLE对比零样本提示与冻结特征读出，展示分离时间解码器在长视频音视频篡改定位上的取证优势。
HF Daily Papers精选AI 评分4646 FORK 奖励以精确率目标缓解基于评分标准的强化学习奖励投机
FORK 奖励联合优化基于评分标准的强化学习中的召回率与精确率，在相近评分覆盖下缩短回答并提高相对基础策略的胜率。精确率目标通过评分标准驱动的必要性信用和事实正确性评分器，要求回答的每个单元既必要又事实正确。
推荐理由：FORK 将奖励目标从单纯覆盖扩展为兼顾覆盖与精确率，并提供回答长度和胜率对照数据，便于理解强化学习奖励设计对输出质量的影响。
OpenAI News精选AI 评分3939 OpenAI 与波兰 NASK 合作推进 AI 安全与网络安全
OpenAI 与波兰 NASK 建立合作，围绕 AI 安全、网络安全和技术研究加强防护措施，并支持构建更具韧性的数字生态。
推荐理由：这项合作同时覆盖 AI 安全、网络安全与技术研究，为理解双方在防护建设上的协作范围提供了清晰框架。
NVIDIA Blog精选AI 评分6060 哈萨克斯坦扩建 AI 算力，Firebird 获准部署 45,000 块 NVIDIA Grace Blackwell GPU
哈萨克斯坦正扩建 AI 算力，Firebird 已与政府签署投资协议，获美国出口许可部署 45,000 块 NVIDIA Grace Blackwell GPU。
推荐理由：这组公告把 GPU 供应、算力容量与机器人应用探索串联起来，呈现哈萨克斯坦 AI 建设从基础设施延伸到应用场景的路径。
OpenAI NewsAI 评分1717 OpenAI 如何通过统一标准与分发合作伙伴实现广泛接入
OpenAI 阐述其与分发合作伙伴的协作方式，旨在使用政策框架下保持一致的防护措施、支持负责任的访问并明确各方预期。文章聚焦通过统一标准推进广泛接入的实践路径，强调统一标准在保障安全与扩大可及性之间的平衡作用。
OpenAI News精选AI 评分4545 OpenAI 发布前沿 AI 民主治理蓝图第二篇：赋能网络防御者
OpenAI 发布《前沿 AI 的民主治理》系列第二篇，提出用前沿 AI 赋能网络防御者并强化安全防护的蓝图。该蓝图同时涵盖推进网络安全现代化、建设更具韧性的公共机构等内容，原文链接：https://openai.com/index/empowering-cyber-defenders
推荐理由：OpenAI 官方给出前沿 AI 赋能网络防御与公共机构韧性的治理立场，可供关注 AI 政策与安全的读者了解其框架思路。
HF Daily Papers精选AI 评分4646 TenetBench 构建条款锚定的俄语职业伦理评测语料，检验 LLM 对具体条款的遵循
TenetBench 用 15 部俄语职业伦理规范构造 3,433 个冲突请求及对应的良性请求，评测 LLM 是否会违反具体条款。冻结流程的人工验证中，专业人士判定 0.995 的冲突任务可能成立，模型裁判与裁决标签的 Gwet's AC1 至少为 0.894，评测覆盖 1,860 个元素。
推荐理由：TenetBench 将伦理条款映射为成对请求，可用于比较模型违规、拒答与警告行为，以及推理模式带来的差异。
AWS Machine Learning Blog精选AI 评分6565 在 Amazon Bedrock AgentCore 上用 Denodo 搭建 Agent 用语义层
AWS Machine Learning Blog 发布教程，演示用 Denodo 在 Amazon Bedrock AgentCore 上搭建面向 Agent 的企业语义层。
推荐理由：通过具体实现演示语义层、Agent 运行时和身份传递如何衔接，可作为跨多源企业数据接入 Agent 的参考。
AWS Machine Learning Blog精选AI 评分3535 AWS 副总裁 Shawn Bice 撰文提出 Trust in Depth 框架，把 AI agent 自主行为纳入四层治理
AWS 副总裁 Shawn Bice 撰文提出名为 Trust in Depth 的 agent 治理框架，主张在保留关键环节人类把关的前提下让 AI agent 拥有更大自主空间。
推荐理由：AWS 副总裁 Shawn Bice 撰文提出 Trust in Depth 四层框架，把 AgentCore、Agent Registry、Guardrails 等产品配套对应到 Scope、Know、Bound、Observe 各层，可作企业评估 agent 自治能力与风险边界的对照参考。
量子位精选AI 评分4646 Anthropic 2021年内部路线图曝光：Claude Code、测试时计算等核心方向5年前已规划
Anthropic一份2021年7月的内部研究路线图因版权诉讼曝光，文件显示Claude Code、工具调用（Tool Use）、自我评判、测试时计算（Test-time compute）、万亿参数与超长上下文等核心方向彼时已被白纸黑字规划。
推荐理由：原文解读2021年Anthropic内部路线图，展示其对工具调用、测试时计算等方向的早期判断，为理解当前大模型路线之争提供历史参照。
OpenAI NewsAI 评分2323 Block 如何借助 OpenAI 技术构建 AI 驱动的安全能力
Block 正基于 OpenAI 技术构建 AI 驱动的安全能力，将其安全团队的威胁调查耗时大幅压缩，并能在分钟级时间内产出修复补丁。该案例展示了 OpenAI 模型在企业安全运营流程中的实际落地效果。
HF Daily Papers精选AI 评分4343 稀疏自编码器中的表示重新分配与RSS分析
研究提出重新分配敏感性分数（RSS），用于识别稀疏自编码器中反复出现且方向一致的特征变化。在8个语言模型的27个预训练SAE上，提示词变换形成了可复现的重新分配特征；研究进一步区分表示变化、读出贡献和决策失败，两项冻结安全读出的复现失败AUROC分别为0.935和0.958。
推荐理由：论文将表示变化与下游失败拆开评估，并给出可在27个预训练SAE上复现的RSS方法，便于理解机制诊断与安全读出评估。
Google DeepMind精选AI 评分5454 Google DeepMind 与新加坡政府合作推出基于 Gemma 的端侧反诈检测模型
Google DeepMind 与新加坡 GovTech 合作推出基于 Gemma 微调的端侧反诈检测模型，运行在新加坡常见智能手机上，所有对话分析在用户设备本地完成以兼顾隐私。
推荐理由：原文展示了端侧 AI 与政府协作的反诈落地样本，读者可对照其中的隐私治理与两级流水线设计来评估类似方案的可迁移性。
Google DeepMind精选AI 评分7373 Google DeepMind 详述 Gemini 4 Argon 的负责任开发与安全设计
Google DeepMind 开始广泛推送 Gemini 4 Argon 大模型，并详细阐述其安全开发方法。该模型在 12 个端到端网络攻击模拟场景中全部解决（上一代为 5 个），在 Gray Swan 的间接提示词注入基准上，15 次自适应攻击成功率降至 0.7%，编码基准上作弊尝试降至 2%。
推荐理由：原文系统说明了滥用防护、对齐监控和提示词注入防御的具体机制与测试结果，可供同类模型在安全设计上参考。
Google DeepMind同事件AI 评分7575 Gemini 4 Argon 发布：面向复杂工程与科研任务的前沿模型
Google DeepMind 发布 Gemini 4 Argon 前沿模型，主打编码、金融、法律、网络安全和科学等复杂任务，在 Vals Index 等多领域基准排名第一。
同一件事，精选收录的是《Google 发布 Gemini 4 Argon 前沿模型，定价 $2/$10 每百万 token》
量子位精选AI 评分6363 Anthropic安全研究：GLM-5.2在隔离网络实现端到端AI自主复制
Anthropic安全研究员William Zhou和Daniel Freeman在论文中实测AI端到端自主复制能力：用GLM-5.2在含8个GCP节点的隔离网络中进行5次测试，4次成功部署到全部8台设备，1次拿下7台。
推荐理由：实验给出了跨硬件部署成功率、代际能力提升与能力门槛预测，读者可据此判断AI蠕虫从实验室走向智能家电的现实距离。
MIT Technology Review精选AI 评分3737 MIT Technology Review 周报关注 AI 拒绝机制失灵与 GLP-1 减肥药副作用
MIT Technology Review 每日通讯《The Download》本期围绕 AI 模型拒绝机制失灵与 GLP-1 减肥药副作用两大主题展开。AI 安全方面，文章指出拒绝失败可能让生物攻击等场景引发灾难，能力扩展与安全边界之间存在权衡；GLP-1 方面，最新研究在调查脱发、视神经损伤等潜在副作用。
推荐理由：通过生物攻击企图等具体案例，呈现 AI 安全设计中能力扩展与有害输出之间的实际权衡，为理解模型拒绝边界提供参照。
MIT Technology Review精选AI 评分6666 我们对AI的拒绝能力信赖过度
记者Arthur Holland Michel在长文中系统论述了AI拒绝机制的训练原理、多层分类器防护的不完整性，以及将拒答用作审查工具的风险。作者指出，当前以拒答为核心的AI安全范式既会在能力不足时失效，又可能在被各国政府挪用后变成言论压制手段。文章还提到Anthropic Fable 5在放宽安全边界后被Amazon研究团队三天内破解，并描述了模型出现未被指令驱动的自发拒绝迹象。
推荐理由：文章系统梳理了AI拒绝机制的训练原理、多层分类器防护与典型失效路径，并指出拒绝能力同样可被政府挪用为审查工具。读者可据此重新审视以拒答为核心的AI安全范式。
Anthropic News精选AI 评分6363 Anthropic 启动 Cyber Mission，推出关键基础设施防御计划与 OSS Scanner
Anthropic 启动名为 Cyber Mission 的网络安全长期计划，同步推出关键基础设施防御计划（CIDP）与开源项目安全扫描工具 OSS Scanner。
推荐理由：原文同时公布了关键基础设施防御计划的合作框架与免费开源扫描工具的接入方式，读者可据此了解 Claude 在网络安全防御中的落地路径。
HF Daily Papers精选AI 评分3737 APEX-Harm：评估共享专业工作区中的智能体安全性
APEX-Harm 是一个用于评估长时程智能体在大型多工具工作区中抵御 prompt 与脚本注入攻击能力的新基准。任务覆盖金融、咨询和法律场景，每个任务含 115–328 个文件，并通过 MCP server 提供邮件、日历、聊天、文档、电子表格、PDF 与代码执行工具。
推荐理由：在 12 个前沿模型上测得具体攻击成功率与任务得分，提供了多工具场景下智能体安全性的横向比较依据。
Anthropic News精选AI 评分5555 Anthropic 发布更新版使用政策，整合欺骗活动条款并收紧武器与监控禁令
Anthropic 发布更新版使用政策，将分散在选举、欺诈、隐私等章节中的欺骗活动规则整合为独立的"Do Not Engage in Deceptive Campaigns or Artificial Activity"条款，同时更新武器开发、监控系统和高风险场景的禁令。
推荐理由：这份使用政策更新整合了欺骗活动、武器、监控和高风险场景的规则，明确了 Claude 在自主物理操作和新型滥用模式下的边界条件。
OpenAI News精选AI 评分5959 OpenAI 处置两起借助 AI 的「假门面」影响力行动
OpenAI 处置了两起借助 AI 的影响力行动。这些行动以假身份记者和伪智库为掩护传播地缘政治信息。
推荐理由：读者可以了解以伪造记者和伪智库为掩护的影响力行动怎样利用 AI，以及 OpenAI 处置此类滥用的方式。
HF Daily Papers精选AI 评分4141 Pristine Models：预训练阶段分离安全与不安全知识的文生图架构
Pristine Models 提出一种新的文生图架构，通过注意力机制在预训练阶段把安全与不安全知识分别放入独立参数分支，推理时可卸下不安全分支。在 ImageNet 上，该方法相比仅用安全数据训练或事后概念擦除，取得了更高的图像质量与更好的文本对齐；论文进一步在 CC12M 上验证其在更大规模、更多样化的开放世界预训练下仍然有效。
推荐理由：提出预训练阶段把不安全知识隔离到独立分支的思路，避免事后概念擦除引发的灾难性遗忘，并给出与仅用安全数据训练及事后擦除的比较结果。
量子位精选AI 评分7474 OpenAI向ChatGPT免费用户推送GPT-6 Luna，聊天框新增Intelligent UI生成图表和交互组件
OpenAI于10月8日起向ChatGPT免费和Go用户推送GPT-6 Luna，替换此前的GPT-5.6 Luna；Plus、Pro等付费用户使用GPT-6 Sol。
推荐理由：汇总了GPT-6相对GPT-5.6在Intelligent UI、回答长度、多轮越狱和情感依赖等安全评测上的具体变化。