跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

273 条精选近 30 天 244 条共收录 345 条

更新

精选归档 · 第 13 页

10月8日周四第 241–260 条
  1. Anthropic News58

    Anthropic 推出扩展版 Cyber Verification Program,设三层访问开放给安全团队

    Anthropic 推出扩展版 Cyber Verification Program(CVP),将网络攻防能力分成 Defense Access、Red Team Access 和 Specialized Access 三层,开放 Claude Opus 5.5、Claude Sonnet 5.5 与 Claude Mythos 5.1 等模型,供通过审核的安全团队使用。

    推荐理由:原文将网络攻防能力按使用场景分成三层访问,并附带评测与漏洞发现数据,可作为同类双用途能力分级方案的参考。

  2. Hacker News63

    Google DeepMind 上线 SynthID Detector 用于识别 AI 生成内容

    Google DeepMind 在 synthid.com 提供 SynthID Detector,用户可上传图片、音视频文件检测其中是否带有 SynthID 水印,水印由 Google、Nvidia、OpenAI、Kakao 的生成模型在创作时嵌入。

    推荐理由:原文对比了 SynthID 水印方案与通用 AI 检测器的识别机制差异,并说明了当前只能覆盖合作方模型的限制。

10月6日周二
  1. HF Daily Papers60

    论文提出校准式真实图像认证方法,应对深度伪造检测随生成器迭代失效

    这篇论文评测了 20 种深度伪造检测器与近四年发布的 10 种生成器,发现检测准确率随时间从 99.5% 降至 76%,并会被对抗扰动压至 2% 以下。作者将这一不可靠归因于生成器能精确复刻真实内容,提出一种输出校准式可否认性预测的检测范式,在已知生成器集合上将误认证率约束在 1% 以内。

    推荐理由:原文把深度伪造检测不可靠归因于生成器能复刻真实内容,并提出带校准阈值的认证框架,给出了可量化的误认证上限。

  2. Anthropic News66

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型,仅向通过审核的机构开放。Mythos 5.1 与面向更广范围的 Claude Fable 5.1 共享同一底层模型,Fable 5.1 可识别源代码中的软件漏洞,生物学相关安全策略的误触发率比 Fable 5 降低 85%。

    推荐理由:原文同时介绍了 Claude Mythos 5.1 的能力进展与分级访问机制,读者可以据此理解高端模型在网络安全与生命科学方向的扩散控制思路。

10月3日周六
  1. 量子位60

    OpenAI安全团队持续动荡,负责人David Robinson离职,三名员工因泄密被开除

    OpenAI安全透明度负责人David Robinson离职,三名从事安全与模型对齐研究的员工因向外部AI安全机构泄露公司敏感信息被开除。

    推荐理由:具体写出了Robinson主导的system card与Preparedness Framework 2.0工作内容,并点出被开除员工与METR、Redwood Research的关系,便于读者判断这轮人事变动对OpenAI安全治理的实际影响。

10月2日周五
  1. TechCrunch65

    医疗记录巨头 Epic 暂停产品开发以修复危及患者数据的安全漏洞

    医疗软件巨头 Epic 宣布暂停大部分产品开发约六周,原因是部署 Anthropic 的前沿网络安全模型 Mythos 后在 MyChart 中发现了安全漏洞,可能让外部人员在不留入侵日志的情况下访问患者记录。MyChart 在全美维护超过 3.2 亿份患者病历;Epic 首席安全官 Stirling Martin 表示,AI 模型未说明漏洞能否被用于篡改记录,但风险已足以推动全面修复。

    推荐理由:原文记录了大型医疗软件公司因 AI 模型发现安全漏洞而暂停开发的完整事件,读者可以据此判断AI安全工具在实际场景中的影响。

10月1日周四
  1. 量子位69

    谷歌发布 Gemini 4 Argon:搭载 RSI,基准成绩领先 Opus 5.5 和 GPT-6

    谷歌发布 Gemini 4 Argon 旗舰模型,搭载 RSI,在 DeepSWE v1.1(77.4%)、CWE-bench v1(68%)、Vals Index(68.90%)等基准上领先 Claude Opus 5.5 和 GPT-6 Astra,并在 Code Arena 排第八。

    推荐理由:文章集中给出 Gemini 4 Argon 与 Opus 5.5、GPT-6 Astra 在 DeepSWE、CWE-bench、Text Arena 等基准上的横向对照和价格差异,读者可据此定位它在前沿模型梯队中的相对位置。

  2. Latent Space75

    Google DeepMind 发布 Gemini 4 Argon,输出上限扩至 1M token

    Google DeepMind 发布 Gemini 4 Argon,面向编码、企业知识工作与网络防御场景,通过 Long Decode Continuation 把输出上限提到行业首创的 1M token(此前 64K),在 19 项公开基准中 13 项超过 GPT-6 Astra 和 Claude Opus 5.5。

    推荐理由:把 Gemini 4 Argon 的 1M 输出、定价与对 Astra、Opus 5.5 的基准对比汇于一篇,便于横向定位其在当前前沿中的位置。

9月30日周三
  1. 量子位62

    OpenAI推理之父最新访谈:数学只是多智能体时代的开胃菜

    OpenAI研究员Noam Brown在最新播客访谈中把数学解题视为多智能体时代的开场,讨论了多智能体扩展、递归自我改进与对齐等议题。他透露OpenAI用1万个Agent、88小时、1300亿token解出Navier-Stokes千禧年难题,但表示其中多智能体贡献不到10%,核心仍是模型本身;他同时指出思维链可监测性正在下降,并强调对齐是当前第一优先事项。

    推荐理由:OpenAI推理核心成员在长访谈中复盘多智能体拿下千禧年难题的细节,并给出对齐、递归自我改进与思维链监测的判断。

  2. 量子位65

    Anthropic警告智谱GLM-5.3网络安全能力,量子位解读为反向广告

    Anthropic发布网络安全报告将智谱的GLM-5.3点名为开源权重模型中网络能力最强的一款,量子位分析质疑报告里的实测数据实为GLM-5.3的免费广告。

    推荐理由:文章将Anthropic对GLM-5.3的警告放入开源与闭源产品形态之争,并附上abliteration成本与攻击链细节,可作为比较两种路线安全取舍的参考。

  3. Simon Willison51

    Anthropic Frontier Red Team:GLM-5.3 与 Claude Mythos Preview 在漏洞利用基准上跨过零成功率门槛

    Anthropic Frontier Red Team 在内部 Binary Exploitation 基准上对 GLM-5.3 与 Claude Mythos Preview 各跑 100 项任务,分别在 4% 与 6% 的试次中实现完整控制流劫持,跨过了此前的零成功率门槛;同批评估的 Claude Opus 4.6 与 GLM-5.2 在所有任务上均未成功。

    推荐理由:在内部漏洞利用基准上,GLM-5.3 与 Claude Mythos Preview 都跨过了此前模型无法取得成功的门槛,给出了具体的数字对照。

9月29日周二
  1. MIT Technology Review38

    MIT Technology Review The Download:气候技术值得关注公司榜单与 AI 的发现争议

    Anthropic 宣布其分子生物学实验室的 AI 智能体发现一种与 CRISPR 类似、未被记录的酶学模式,但生物学家质疑这是否算真正的科学发现,部分研究者指出同一模式此前已有报道。文章认为对 AI 设置过低门槛可能妨碍真实科研进展的识别。本期还预告了将于 10 月 6 日发布的 2026 气候技术值得关注公司榜单。

    推荐理由:围绕 Anthropic 酶学发现展开分析,提醒读者区分 AI 新颖性与真正的科学突破之间的差距。

  2. MIT Technology Review · AI39

    MIT Technology Review圆桌讨论:美墨边境AI监控塔的致命失效

    MIT Technology Review发布圆桌讨论与调查报告,揭示美墨边境虚拟监控墙的致命失效:过去25年耗资数十亿美元建设的监控塔覆盖区域中,超千人未被拦截即死亡,部分发生在最新部署的AI自动识别塔的监视下。节目由总编Mat Honan、高级AI记者James O'Donnell与高级调查记者Eileen Guo于9月28日录制,配套发布了首份边境死亡综合地图及四项改进建议。

    推荐理由:基于千余例未被拦截即死亡的案例追踪,呈现AI监控塔在边境的真实失效规模与系统性成因。

9月22日周二
  1. MIT Technology Review · AI52

    别被这个夏天的 AI 炒作迷惑,Gebru 与 Bender 逐条拆解模型安全与数学突破媒体叙事

    Timnit Gebru 与 Emily M. Bender 逐条驳斥今夏围绕 Claude Mythos、OpenAI Astra 与多起模型安全事件的媒体叙事,称这些多为市场宣传而非真正的技术突破。

    推荐理由:AI 伦理研究者 Gebru 与 Bender 逐条复盘近期模型能力、安全事件和数学突破的媒体叙事,给读者提供独立判断的参照系。

  2. OpenAI News43

    OpenAI 发布第三方安全评估的优先事项与原则

    OpenAI 发布第三方安全评估的优先事项与原则,提出四个重点评估方向:独立评估安全论证、关键稳健性评估、覆盖 Preparedness 风险类别的能力评估与对齐评估、关键错位事件的独立调查,并阐述有效评估应遵循的七项原则,包括范围预先约定、比例适当的访问、透明方法与标准、专业能力与独立性、安全与保密、可执行的发现与整改时间,以及负责任的发布实践。

    推荐理由:OpenAI 给出第三方安全评估的四个重点方向与七项原则,为读者理解前沿实验室对独立安全审查的承诺范围提供参照。

  3. NVIDIA Blog35

    为什么规模化部署物理 AI 要求每一层都建立安全机制

    文章解释规模化部署物理 AI 需要在硬件、软件、AI 行为、运行环境与全生命周期都建立安全机制,并介绍 NVIDIA Halos 作为全栈安全系统在自动驾驶和机器人方向的组件分工。文中还提及 Geely、Nissan、Uber 等使用 Halos 相关平台的厂商,以及 TÜV SÜD、TÜV Rheinland 对 DriveOS、Halos OS 等组件与流程的独立认证进展。

    推荐理由:原文系统梳理了物理 AI 安全落地所需的多层架构,并介绍了 NVIDIA Halos 在 AV 与机器人方向的组件分工和独立认证情况,对理解安全工程化思路有参考价值。

9月21日周一
  1. Import AI46

    Import AI 473:覆盖美国超级智能战略、嵌合脑实验与 AI 节奏控制议程等多项动态

    Import AI 第 473 期汇总了近期多项 AI 研究动态。RAND 报告建议美国以"行动自由"策略保留通向超级智能的多重选项,分共存、拒止、加速三类共七种战略。

    推荐理由:把 RAND 战略报告、嵌合脑实验、节奏控制议程等不同维度的进展整合到同一期,便于读者横向比对同一窗口里多个议题的成熟度。