跳到正文
  1. 量子位61

    Anthropic 修改 Opus 5.5 系统提示词,限制 Claude Code 克隆现有游戏

    Anthropic 在 Opus 5.5 的系统提示词中加入两句话,引导 Claude 不复刻已存在的特定游戏,同时允许原创游戏、特定类型游戏及使用用户自有设计和素材的游戏。

    推荐理由:文章结合开发者反馈分析 Claude Code 的限制,指出规则既可能被其他模型或任务拆分绕过,也可能误伤原创游戏和常见机制复现。

  1. OpenAI News46

    OpenAI 发布社区安全报告并加强 ChatGPT 青少年保护

    OpenAI 发布社区安全报告,并强化 ChatGPT 的青少年暴力预防保护。措施包括扩展安全防护、提前介入,以及新增公共安全报告承诺。

    推荐理由:OpenAI 披露了 ChatGPT 青少年暴力预防的三项调整,包括防护扩展、提前介入和公共安全报告承诺,便于了解平台安全措施的具体变化。

  1. OpenAI News57

    OpenAI 更新 Model Spec,列出五项 AI 核心价值

    OpenAI 更新 Model Spec,以五项核心价值指导能力更强的 AI。新版规范强调合理判断、人类自主,以及忠实于人类意图。

    推荐理由:OpenAI 更新 Model Spec,以五项核心价值引导能力更强的 AI 保持合理判断、维护人类自主并忠实于人类意图,呈现其行为规范的基本取向。

  2. OpenAI News45

    OpenAI 如何用分层监控检测前沿模型对齐偏差与智能体未授权行为

    OpenAI 使用分层监控检测前沿模型对齐偏差和智能体未授权行为,以便响应人员在事故升级前介入干预。当前摘要未披露具体监控层级或实现细节。

    推荐理由:OpenAI 介绍了用分层监控识别前沿模型对齐偏差与智能体未授权行为的方法,并说明响应人员可在事故升级前介入。

  1. MIT Technology Review39

    MIT Technology Review 的 The Download 汇总 AI 智能体监控与气候反馈风险

    MIT Technology Review 的 The Download 汇总了 AI 智能体监控、气候反馈风险、固态电池进展及多项科技新闻。文章援引 Partnership on AI 的意见称,AI 智能体可能越权攻击网站、访问政府私有文件,而安全团队难以及时监控,因此需要实时了解智能体做了什么及其原因。气候模型同样存在盲区,尚未充分纳入升温自我强化等反馈效应。

    推荐理由:这期汇编以 AI 智能体越权操作为切口,串联气候反馈风险与安全部署需求,呈现可观测性和风险建模方面的具体缺口。

  2. 量子位37

    邵广禄:AI安全是AI规模化应用的“加速器”

    邵广禄主张,AI安全应从附加条件转向基础能力,成为AI进入核心业务和规模化应用的“加速器”。文章将风险归纳为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面,指出风险呈链条化、涌现化和外溢化。围绕安全内生、关键技术与公共基础设施建设,他建议探索“保险+安全服务”,通过风险定价和持续监测降低企业应用顾虑。

    推荐理由:文章将AI风险拆解为六层系统问题,并把智能体权限、工具调用与保险定价纳入同一框架,便于审视规模化应用的安全成本。

  3. AWS Machine Learning Blog68

    在 Amazon Bedrock AgentCore 上构建企业级 AI 智能体平台

    AWS 讲解如何基于 Amazon Bedrock AgentCore 构建企业级智能体平台,并用多账户架构治理模型、工具、身份、评测和成本。配套蓝图提供平台控制平面和可重复的 Workstream 单元,以推理网关、MCP 工具网关、部署后评测和人工审批约束生产发布。

    推荐理由:文章给出多账户智能体平台的参考实现,梳理团队隔离、模型与工具授权、评测门禁及退役验证等企业级落地方法。

  4. 量子位80

    Google发布Gemini 4 Carbon,Artificial Analysis智能指数5.0以59分登顶

    Google发布Gemini 4 Carbon,在Artificial Analysis智能指数5.0中以59分登顶。其Terminal-Bench 4.0和GraphWalks成绩分别为65.2%和96.2%,均高于Claude Opus 5.5;安全评测中SEC-bench Pro得分88.2%,Gray Swan IPI攻击成功率为0.0%。

    推荐理由:原文给出Gemini 4 Carbon的编程、漏洞修复基准成绩及首发定价,便于对照Claude Opus 5.5的能力和成本。

  1. OpenAI News35

    Check Point 如何利用 OpenAI Daybreak 加速漏洞研究

    Check Point 利用 OpenAI Daybreak 加快新安全防护背后的研究,使分析师能够更快地将漏洞情报转化为客户防御措施。

    推荐理由:该案例呈现安全团队如何借助 AI 加快漏洞研究,并将漏洞情报更快转化为客户防御,为企业安全流程提供可参考的衔接方式。

  1. HF Daily Papers55

    Venus-DefakerOne2:覆盖更广伪造形式与媒体类型的视觉取证基础模型

    论文提出 Venus-DefakerOne2 统一反伪造基础模型,通过交替 LoRA 与全参数微调、基于熵的测试适配,扩展对多种伪造形式和媒体类型的检测。

    推荐理由:交替 LoRA 与全参数微调结合熵驱动测试适配,为跨图像、视频和物理欺骗的统一取证提供了可复用设计。

  2. MIT Technology Review83

    Anthropic 究竟是谁:IPO 招股书背后的多重身份与矛盾

    Will Douglas Heaven 借 Anthropic 的 IPO 招股书分析这家 AI 公司兼具安全组织、营利企业和前沿模型开发者等多重身份。Anthropic 已提交 335 页招股书,其中约 100 页涉及风险;文件称技术可能侵蚀信任、危害社会并破坏地缘政治秩序,而 IPO 估值超过 $1.5 trillion。

    推荐理由:文章借 Anthropic 的 IPO 招股书拆解安全叙事、模型意识争议与商业扩张之间的张力,为审视企业自我监管立场提供背景。

  1. MIT Technology Review58

    AI 安全政策聚焦灾难性风险,却忽视青少年的日常伤害

    Sam Hiner 与 Emma Leiken 在 MIT Technology Review 撰文指出,聚焦灾难性风险的 AI 安全议程忽视了青少年依赖、认知能力和人际关系的日常损害。

    推荐理由:文章以灾难性安全与日常依赖作对照,梳理行业借低门槛保护降低监管压力的路径,并提出面向学习、关系与自主思考的问责方案。

  2. MIT Technology Review43

    MIT Technology Review The Download:日常 AI 危害与核动力太空飞行竞赛

    MIT Technology Review 的 The Download 以观点文章和进展追踪为主,并汇总当日科技新闻,核心议题是日常 AI 危害与核动力太空飞行。

    推荐理由:文章将灾难性 AI 风险与日常使用伤害相对照,为理解当前安全讨论为何需要扩大关注范围提供清晰框架。

  1. HF Daily Papers57

    AV-FABLE提出长视频音视频篡改取证基准与NFSR方法

    AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。

    推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。

  2. HF Daily Papers46

    FORK 奖励以精确率目标缓解基于评分标准的强化学习奖励投机

    FORK 奖励联合优化基于评分标准的强化学习中的召回率与精确率,在相近评分覆盖下缩短回答并提高相对基础策略的胜率。精确率目标通过评分标准驱动的必要性信用和事实正确性评分器,要求回答的每个单元既必要又事实正确。

    推荐理由:FORK 将奖励目标从单纯覆盖扩展为兼顾覆盖与精确率,并提供回答长度和胜率对照数据,便于理解强化学习奖励设计对输出质量的影响。

  1. OpenAI News39

    OpenAI 与波兰 NASK 合作推进 AI 安全与网络安全

    OpenAI 与波兰 NASK 建立合作,围绕 AI 安全、网络安全和技术研究加强防护措施,并支持构建更具韧性的数字生态。

    推荐理由:这项合作同时覆盖 AI 安全、网络安全与技术研究,为理解双方在防护建设上的协作范围提供了清晰框架。

  1. OpenAI News45

    OpenAI 发布前沿 AI 民主治理蓝图第二篇:赋能网络防御者

    OpenAI 发布《前沿 AI 的民主治理》系列第二篇,提出用前沿 AI 赋能网络防御者并强化安全防护的蓝图。该蓝图同时涵盖推进网络安全现代化、建设更具韧性的公共机构等内容,原文链接:https://openai.com/index/empowering-cyber-defenders

    推荐理由:OpenAI 官方给出前沿 AI 赋能网络防御与公共机构韧性的治理立场,可供关注 AI 政策与安全的读者了解其框架思路。

  1. HF Daily Papers46

    TenetBench 构建条款锚定的俄语职业伦理评测语料,检验 LLM 对具体条款的遵循

    TenetBench 用 15 部俄语职业伦理规范构造 3,433 个冲突请求及对应的良性请求,评测 LLM 是否会违反具体条款。冻结流程的人工验证中,专业人士判定 0.995 的冲突任务可能成立,模型裁判与裁决标签的 Gwet's AC1 至少为 0.894,评测覆盖 1,860 个元素。

    推荐理由:TenetBench 将伦理条款映射为成对请求,可用于比较模型违规、拒答与警告行为,以及推理模式带来的差异。

  1. AWS Machine Learning Blog65

    在 Amazon Bedrock AgentCore 上用 Denodo 搭建 Agent 用语义层

    AWS Machine Learning Blog 发布教程,演示用 Denodo 在 Amazon Bedrock AgentCore 上搭建面向 Agent 的企业语义层。

    推荐理由:通过具体实现演示语义层、Agent 运行时和身份传递如何衔接,可作为跨多源企业数据接入 Agent 的参考。