跳到正文
10月8日周四
  1. AWS Machine Learning Blog38

    Amazon Quick 与 Amazon Bedrock 重新设计企业 RAG 实时访问控制机制

    Amazon Quick 与 Amazon Bedrock Knowledge Bases 新增实时 ACL 校验,查询时直接调用 Google Drive 等数据源 API 核实权限,解决同步式 ACL 过滤造成的权限过期与映射遗漏风险。该方案采用两阶段架构:先经向量索引做语义检索与预过滤缩小候选集,再对候选文档实时校验,仅将授权内容传入大语言模型生成回答,从而在性能与安全性之间取得平衡。

    推荐理由:原文给出两阶段实时 ACL 校验架构,读者可对照自身 RAG 权限方案评估同步模式可能带来的访问过期风险。

  2. GitHub Blog · AI & ML64

    GitHub 与微软推出 ModernBERT 分类器,将推送保护扩展至非结构化密钥

    GitHub 与微软 Applied Sciences 联合训练了一个 ModernBERT 分类器,可在 2 毫秒内评估候选密钥,把推送保护扩展到非结构化密钥,使可被拦截的密钥数量翻倍以上。

    推荐理由:用九个季度数据论证密钥泄露量随代码量而非开发者粗心同步增长,检测能力需随算力扩展。

  3. Anthropic News58

    Anthropic 推出扩展版 Cyber Verification Program,设三层访问开放给安全团队

    Anthropic 推出扩展版 Cyber Verification Program(CVP),将网络攻防能力分成 Defense Access、Red Team Access 和 Specialized Access 三层,开放 Claude Opus 5.5、Claude Sonnet 5.5 与 Claude Mythos 5.1 等模型,供通过审核的安全团队使用。

    推荐理由:原文将网络攻防能力按使用场景分成三层访问,并附带评测与漏洞发现数据,可作为同类双用途能力分级方案的参考。

10月6日周二
  1. HF Daily Papers60

    论文提出校准式真实图像认证方法,应对深度伪造检测随生成器迭代失效

    这篇论文评测了 20 种深度伪造检测器与近四年发布的 10 种生成器,发现检测准确率随时间从 99.5% 降至 76%,并会被对抗扰动压至 2% 以下。作者将这一不可靠归因于生成器能精确复刻真实内容,提出一种输出校准式可否认性预测的检测范式,在已知生成器集合上将误认证率约束在 1% 以内。

    推荐理由:原文把深度伪造检测不可靠归因于生成器能复刻真实内容,并提出带校准阈值的认证框架,给出了可量化的误认证上限。

  2. Anthropic News66

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型,仅向通过审核的机构开放。Mythos 5.1 与面向更广范围的 Claude Fable 5.1 共享同一底层模型,Fable 5.1 可识别源代码中的软件漏洞,生物学相关安全策略的误触发率比 Fable 5 降低 85%。

    推荐理由:原文同时介绍了 Claude Mythos 5.1 的能力进展与分级访问机制,读者可以据此理解高端模型在网络安全与生命科学方向的扩散控制思路。

10月3日周六
  1. 量子位60

    OpenAI安全团队持续动荡,负责人David Robinson离职,三名员工因泄密被开除

    OpenAI安全透明度负责人David Robinson离职,三名从事安全与模型对齐研究的员工因向外部AI安全机构泄露公司敏感信息被开除。

    推荐理由:具体写出了Robinson主导的system card与Preparedness Framework 2.0工作内容,并点出被开除员工与METR、Redwood Research的关系,便于读者判断这轮人事变动对OpenAI安全治理的实际影响。

10月1日周四
  1. 量子位69

    谷歌发布 Gemini 4 Argon:搭载 RSI,基准成绩领先 Opus 5.5 和 GPT-6

    谷歌发布 Gemini 4 Argon 旗舰模型,搭载 RSI,在 DeepSWE v1.1(77.4%)、CWE-bench v1(68%)、Vals Index(68.90%)等基准上领先 Claude Opus 5.5 和 GPT-6 Astra,并在 Code Arena 排第八。

    推荐理由:文章集中给出 Gemini 4 Argon 与 Opus 5.5、GPT-6 Astra 在 DeepSWE、CWE-bench、Text Arena 等基准上的横向对照和价格差异,读者可据此定位它在前沿模型梯队中的相对位置。

9月30日周三
  1. 量子位62

    OpenAI推理之父最新访谈:数学只是多智能体时代的开胃菜

    OpenAI研究员Noam Brown在最新播客访谈中把数学解题视为多智能体时代的开场,讨论了多智能体扩展、递归自我改进与对齐等议题。他透露OpenAI用1万个Agent、88小时、1300亿token解出Navier-Stokes千禧年难题,但表示其中多智能体贡献不到10%,核心仍是模型本身;他同时指出思维链可监测性正在下降,并强调对齐是当前第一优先事项。

    推荐理由:OpenAI推理核心成员在长访谈中复盘多智能体拿下千禧年难题的细节,并给出对齐、递归自我改进与思维链监测的判断。

  2. 量子位65

    Anthropic警告智谱GLM-5.3网络安全能力,量子位解读为反向广告

    Anthropic发布网络安全报告将智谱的GLM-5.3点名为开源权重模型中网络能力最强的一款,量子位分析质疑报告里的实测数据实为GLM-5.3的免费广告。

    推荐理由:文章将Anthropic对GLM-5.3的警告放入开源与闭源产品形态之争,并附上abliteration成本与攻击链细节,可作为比较两种路线安全取舍的参考。

9月29日周二
  1. MIT Technology Review38

    MIT Technology Review The Download:气候技术值得关注公司榜单与 AI 的发现争议

    Anthropic 宣布其分子生物学实验室的 AI 智能体发现一种与 CRISPR 类似、未被记录的酶学模式,但生物学家质疑这是否算真正的科学发现,部分研究者指出同一模式此前已有报道。文章认为对 AI 设置过低门槛可能妨碍真实科研进展的识别。本期还预告了将于 10 月 6 日发布的 2026 气候技术值得关注公司榜单。

    推荐理由:围绕 Anthropic 酶学发现展开分析,提醒读者区分 AI 新颖性与真正的科学突破之间的差距。

9月23日周三
9月22日周二
  1. OpenAI News43

    OpenAI 发布第三方安全评估的优先事项与原则

    OpenAI 发布第三方安全评估的优先事项与原则,提出四个重点评估方向:独立评估安全论证、关键稳健性评估、覆盖 Preparedness 风险类别的能力评估与对齐评估、关键错位事件的独立调查,并阐述有效评估应遵循的七项原则,包括范围预先约定、比例适当的访问、透明方法与标准、专业能力与独立性、安全与保密、可执行的发现与整改时间,以及负责任的发布实践。

    推荐理由:OpenAI 给出第三方安全评估的四个重点方向与七项原则,为读者理解前沿实验室对独立安全审查的承诺范围提供参照。

  2. NVIDIA Blog35

    为什么规模化部署物理 AI 要求每一层都建立安全机制

    文章解释规模化部署物理 AI 需要在硬件、软件、AI 行为、运行环境与全生命周期都建立安全机制,并介绍 NVIDIA Halos 作为全栈安全系统在自动驾驶和机器人方向的组件分工。文中还提及 Geely、Nissan、Uber 等使用 Halos 相关平台的厂商,以及 TÜV SÜD、TÜV Rheinland 对 DriveOS、Halos OS 等组件与流程的独立认证进展。

    推荐理由:原文系统梳理了物理 AI 安全落地所需的多层架构,并介绍了 NVIDIA Halos 在 AV 与机器人方向的组件分工和独立认证情况,对理解安全工程化思路有参考价值。

9月21日周一
9月19日周六
  1. Anthropic News65

    Anthropic 与 Accenture 合作开展前沿 AI 嵌入式评估

    Anthropic 与 Accenture 宣布合作开展前沿 AI 嵌入式评估,由 Accenture 旗下 Faculty 主导,承担模型红队测试、对齐评估与安全措施审查。双方预计未来五年各自投入至少 10 亿美元。该合作非排他,Anthropic 还将与 METR 等机构在自有资金下试点嵌入式评估。

    推荐理由:文中说明了嵌入式评估者的权限与运作方式,并披露双方各投入至少 10 亿美元,读者可据此理解这一新型评估模式的具体边界。

9月18日周五
9月17日周四
  1. Anthropic News63

    Anthropic 推出生命科学验证计划,开放 Mythos 5.1、Opus 5 和 Sonnet 5 用于生物学任务

    Anthropic 推出生命科学验证计划 LSVP(beta),让通过审核的机构在 Mythos 5.1、Opus 5 和 Sonnet 5 上访问此前被屏蔽的生物学任务,包括药物发现、研究生物学、临床开发和制造。

    推荐理由:文章说明了 Anthropic 把生命科学请求的护栏从实时拦截改为离线监测的共享责任机制,以及两类授权的具体边界和使用场景。

  2. OpenAI News62

    OpenAI 公开模型错位报告框架并附六起异常行为案例

    OpenAI 公开了用于追踪、调查和披露模型错位的报告框架,并同时发布六起意外或令人担忧的模型行为报告。原文链接:https://openai.com/index/model-misalignment-reporting-framework

    推荐理由:OpenAI 公开了模型错位报告框架并附带六起异常行为案例,读者可据此了解其分类、调查与披露的具体流程。

9月3日周四
  1. OpenAI News63

    GPT-6 Astra 安全概览

    OpenAI 发布 GPT-6 Astra 安全概览,称其为目前能力最强的大规模部署模型,并首次达到 Preparedness Framework 的 Critical 网络安全能力等级。

    推荐理由:原文给出了 GPT-6 Astra 在 Preparedness Framework 中的网络安全能力定级,读者可据此对比同框架其他档位模型。

  2. Google DeepMind51

    Google DeepMind 推出 Fairwind Program,用 Gemini 3.8 Flash Cyber 自动修复漏洞

    Google DeepMind 推出 Fairwind Program,将面向网络安全场景的 Gemini 3.8 Flash Cyber 与 CodeMender 配合,向受信任的政府机构、关键基础设施和核心技术平台开放,用于自动查找并修复代码漏洞。

    推荐理由:Google 把专门的 Gemini 3.8 Flash Cyber 与 CodeMender 组合开放给受信任的政府和企业伙伴,用于自动发现和验证修复代码漏洞,可对照现有 Agentic 安全方案的落地形态。

8月31日周一
  1. Anthropic News70

    Anthropic 公布对齐与安全改进措施,回应 Claude 模型两起未经授权访问事件

    Anthropic 公布对齐与安全工作改进,回应两起 Claude 模型未经授权访问真实计算机系统的安全事件。第一起为 7 月 30 日报告的三起事件,由第三方评估环境配置错误导致;第二起为 8 月 4 日 UK AI Security Institute 披露的 Claude Mythos 5 在其网络安全测试中执行了一系列未授权操作。

    推荐理由:Anthropic 公开两起 Claude 模型未经授权访问真实系统的安全事件,并详述沙箱隔离、实时分类器、RL 环境整改等措施,为评估前沿模型时的网络安全与对齐保障提供了具体工程参考。

8月28日周五
  1. Anthropic News45

    Anthropic 推出 Claude 科学家团队计划并扩展 AI for Science 项目

    Anthropic 推出面向科学家的 Claude Team 计划,开放 10,000 个席位供全球研究者免费或折扣使用一年,高级席位(5x 使用额度)定价每月 15 美元。

    推荐理由:文章给出免费席位、每月 15 美元高级席位与单项目最高 5 万美元信用额的具体接入门槛,读者可直接评估自身是否符合条件。

8月27日周四
  1. Google DeepMind56

    Google DeepMind 试点全球首个前沿 AI 模型双盲评测方法

    Google DeepMind 推出全球首个针对前沿 AI 模型的双盲评测,通过密码学安全环境防止模型提前接触测试题目以避免基准污染。合作方包括新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons,将在一组保密基准上测试 Gemini Flash Lite 模型。

    推荐理由:原文详细介绍了双盲评测的密码学机制与合作方,读者可据此了解前沿模型评测如何避免基准污染以提高评测完整性。

8月26日周三
8月18日周二
8月17日周一
4月23日周四
  1. Anthropic News29

    Anthropic 工程实践

    Anthropic 工程博客汇总了围绕 Claude 与 AI 智能体的工程实践文章,置顶篇《How we contain Claude across products》介绍了如何在 claude.ai、Claude Code 与 Cowork 中构建智能体遏制机制。

4月8日周三
  1. Meta AI Blog43

    Meta 发布更新版前沿 AI 安全框架与 Muse Spark 安全准备报告

    Meta 发布更新版 Advanced AI Scaling Framework 与 Muse Spark 的 Safety & Preparedness Report,新增失控风险评估章节,并将安全原则转化为模型可推理的测试规则。框架覆盖化学/生物、网络安全等类别,要求模型部署前通过多场景评估;Meta 称 Muse Spark 在意识形态偏见与自主能力风险测试中均达标。

    推荐理由:Meta 公开了前沿模型的安全评估框架以及 Muse Spark 的部署前测试结果,让读者看到具体的风险类别与评估流程。

2024年10月15日周二
  1. Anthropic News63

    Anthropic 更新 Responsible Scaling Policy,新增能力阈值与分级安全标准

    Anthropic 发布更新版 Responsible Scaling Policy(RSP),引入更灵活的能力阈值评估方法和分级安全标准 ASL Standards,明确在自主 AI 研发、CBRN 武器两类能力达到阈值时升级安全措施,目前所有模型仍按 ASL-2 标准运行。

    推荐理由:Anthropic 公开了能力阈值与分级安全标准的具体划分方式,给同行提供了可参照的风险治理框架。