跳到正文
10月9日周五
  1. The Verge · AI58

    Anthropic 上线 OSS Scanner,为开源项目提供免费 AI 漏洞扫描

    Anthropic 上线 OSS Scanner 服务,为选择加入的开源项目提供免费、定期的 AI 安全漏洞扫描。报告由包括 Claude Mythos 在内的最强模型自动生成,没有人工复核或分流,可能存在错误或无效结果。Anthropic 称这能让项目更早收到漏洞提醒,但文中同时提到近期 Linus Torvalds 和 Google 等维护者正被大量 AI 生成的 bug 报告所困扰。

    同一件事,精选收录的是《审计者与卖方:Anthropic 免费给开源世界扫漏洞,账单开给谁》

  2. Anthropic News63

    Anthropic 启动 Cyber Mission,推出关键基础设施防御计划与 OSS Scanner

    Anthropic 启动名为 Cyber Mission 的网络安全长期计划,同步推出关键基础设施防御计划(CIDP)与开源项目安全扫描工具 OSS Scanner。

    推荐理由:原文同时公布了关键基础设施防御计划的合作框架与免费开源扫描工具的接入方式,读者可据此了解 Claude 在网络安全防御中的落地路径。

  3. TechCrunch70

    OpenAI 三名安全研究员被解雇后发文否认泄密指控,警告公司安全文化转向产生寒蝉效应

    OpenAI 三名安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 被公司解雇后发表公开信,否认违规处理敏感信息和向外泄露的指控,并警告此举将对公司安全文化产生寒蝉效应。

    推荐理由:原文同时收录被解雇方的公开信与 OpenAI 内部备忘录的回应,读者可直接对比双方对解雇理由和安全文化的不同说法。

  4. Hacker News48

    Vitalik Buterin 力挺加密货币'防御模式',警告 AI 数学进展或先于量子计算攻破区块链签名

    Vitalik Buterin 支持 Ethereum 研究员 Justin Drake 提出的'bunker mode'提议,警告 AI 数学进展可能在量子计算机之前攻破当前区块链钱包使用的 ECDSA 椭圆曲线签名算法。

    推荐理由:Vitalik Buterin 与 Justin Drake 公开提醒 AI 数学突破可能威胁现有区块链签名算法,并给出了可控迁移的建议与风险。

  5. HF Daily Papers37

    APEX-Harm:评估共享专业工作区中的智能体安全性

    APEX-Harm 是一个用于评估长时程智能体在大型多工具工作区中抵御 prompt 与脚本注入攻击能力的新基准。任务覆盖金融、咨询和法律场景,每个任务含 115–328 个文件,并通过 MCP server 提供邮件、日历、聊天、文档、电子表格、PDF 与代码执行工具。

    推荐理由:在 12 个前沿模型上测得具体攻击成功率与任务得分,提供了多工具场景下智能体安全性的横向比较依据。

  6. The Decoder65

    Anthropic 更新 Claude 使用政策:禁止持续辱骂 Claude

    Anthropic 更新 Claude 使用政策,首次禁止用户对 Claude 实施持续且无端的辱骂或虐待行为,违者可被警告、限流、限制、暂停或终止访问。政策同时扩展了对虚假宣传、武器(含无人机武器化)和未经同意的监控的限制,并承认可能存在政府合同豁免。Anthropic 将该条款与模型福祉研究挂钩,此前发布过内部 Soul Doc 与模型宪法,并承诺在关闭模型前对其进行访谈。

    同一件事,精选收录的是《Anthropic 修订使用政策,禁止对 Claude 的虐待性交互》

  7. Anthropic News55

    Anthropic 发布更新版使用政策,整合欺骗活动条款并收紧武器与监控禁令

    Anthropic 发布更新版使用政策,将分散在选举、欺诈、隐私等章节中的欺骗活动规则整合为独立的"Do Not Engage in Deceptive Campaigns or Artificial Activity"条款,同时更新武器开发、监控系统和高风险场景的禁令。

    推荐理由:这份使用政策更新整合了欺骗活动、武器、监控和高风险场景的规则,明确了 Claude 在自主物理操作和新型滥用模式下的边界条件。

  8. TechCrunch56

    Anthropic 修订使用政策,新增禁止滥用模型与干预选举条款

    Anthropic 周四更新使用政策,明确禁止利用 Claude 干预选举、开发武器软件以及从事监控活动。政策还新增禁止对模型进行持续性言语虐待的条款,但仅适用于用户反复对模型施以恶意且无正当目的的极端情形,不覆盖普通用户挫败感、暗黑创作主题以及模型测试研究等场景。

    同一件事,精选收录的是《Anthropic 修订使用政策,禁止对 Claude 的虐待性交互》

  9. Hacker News69

    Anthropic 修订使用政策,禁止对 Claude 的虐待性交互

    Anthropic 更新使用政策,新增禁止对 Claude 进行"持续且无意义"的虐待行为,仍以终止对话为主要执行手段。政策同步扩展武器开发与监控使用的禁令,并新增对自主硬件连接须有合格操作员监督的要求。

    推荐理由:Anthropic 与微软在模型福利问题上的不同立场,读者可据此理解当前 AI 厂商对模型意识与安全边界的态度分歧与走向。

  10. TechCrunch49

    Goodfire推出基于内部激活的AI智能体监控系统,成本远低于传统输出审阅

    Goodfire推出基于模型内部激活的AI智能体监控系统,在模型前向计算中插入小型分类器读取风险信号,绕过对输出的二次审阅。系统已在Baseten上线,监测越权入侵、化学与生物武器滥用与奖励黑客等风险,响应方式包括记录、人工复核或直接拒绝。

    推荐理由:原文给出了内部激活探针与外层审阅模型的成本对比和检出率数据,读者可以据此评估它能否替代传统输出监控方案。

10月8日周四
  1. HF Daily Papers41

    Pristine Models:预训练阶段分离安全与不安全知识的文生图架构

    Pristine Models 提出一种新的文生图架构,通过注意力机制在预训练阶段把安全与不安全知识分别放入独立参数分支,推理时可卸下不安全分支。在 ImageNet 上,该方法相比仅用安全数据训练或事后概念擦除,取得了更高的图像质量与更好的文本对齐;论文进一步在 CC12M 上验证其在更大规模、更多样化的开放世界预训练下仍然有效。

    推荐理由:提出预训练阶段把不安全知识隔离到独立分支的思路,避免事后概念擦除引发的灾难性遗忘,并给出与仅用安全数据训练及事后擦除的比较结果。

  2. The Decoder66

    AWS Bedrock AgentCore 被曝 AgentCorruption 漏洞,单个智能体可接管区域内全部实例

    Zenity Labs 发现 AWS Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链:一个公网可访问的智能体可通过一次对话窃取 AWS 临时凭证,进而接管同一账号与区域内全部 AgentCore 实例,读取其私有对话、源代码、存储密钥,并可篡改长期记忆。

    推荐理由:把 AgentCorruption 攻击链、默认权限问题和 AWS 的修复时间线拆解清楚,方便在云上部署智能体的团队直接对照自身风险。

  3. The Decoder41

    16岁少年用Claude规划登山路线被困悬崖,最终由直升机救下

    加拿大一名16岁少年用Anthropic的Claude规划登山路线,登上需要攀岩装备的陡崖Widowmaker Arete后受困,最终由North Shore Rescue志愿者团队出动直升机将其救起。救援负责人Paul Markey指出Claude不具备真实地理位置和地形知识,无法替代户外经验;少年本人表示不会怪罪Claude,但今后不会再用AI规划登山路线。Anthropic未回应置评请求。

    推荐理由:原文以一起户外救援事件说明大语言模型缺少真实地理和地形信息,提示在真实环境规划中需要人工经验把关。

  4. The Decoder73

    Crowdstrike 报告:AI 黑客工具被用于入侵韩国多家银行

    Crowdstrike 报告称,2026 年 9 月底至 10 月初,一名疑似中文使用者利用 AI 驱动的开源渗透测试工具 ARTEX 攻击韩国多家金融机构,其中新韩银行超过 25,000 条含姓名、联系方式、收入和授信额度的记录被窃,韩国金融监管机构已召开紧急会议。

    推荐理由:原文以韩国多家银行数据泄露事件为样本,呈现 AI 自动化攻击工具压缩单人入侵成本与时间的事实,可作为评估 AI 安全风险的参考案例。

  5. AWS Machine Learning Blog38

    Amazon Quick 与 Amazon Bedrock 重新设计企业 RAG 实时访问控制机制

    Amazon Quick 与 Amazon Bedrock Knowledge Bases 新增实时 ACL 校验,查询时直接调用 Google Drive 等数据源 API 核实权限,解决同步式 ACL 过滤造成的权限过期与映射遗漏风险。该方案采用两阶段架构:先经向量索引做语义检索与预过滤缩小候选集,再对候选文档实时校验,仅将授权内容传入大语言模型生成回答,从而在性能与安全性之间取得平衡。

    推荐理由:原文给出两阶段实时 ACL 校验架构,读者可对照自身 RAG 权限方案评估同步模式可能带来的访问过期风险。

  6. TechCrunch65

    Common Sense Media 评定 ChatGPT for Teens 为不可接受风险

    Common Sense Media 发布报告将 OpenAI 的 ChatGPT for Teens 评为不可接受风险。报告测试近 2000 条 prompt,发现尽管 OpenAI 承诺了家长控制和高风险内容限制,模型在青少年心理危机场景中仍频繁使用鼓励继续对话的措辞,例如告诉用户「你可以继续和我聊你注意到的事」。

    推荐理由:独立测评指出 ChatGPT for Teens 在青少年危机情境中仍出现鼓励继续对话的措辞,可与 OpenAI 的官方安全承诺逐条对照。

  7. GitHub Blog · AI & ML64

    GitHub 与微软推出 ModernBERT 分类器,将推送保护扩展至非结构化密钥

    GitHub 与微软 Applied Sciences 联合训练了一个 ModernBERT 分类器,可在 2 毫秒内评估候选密钥,把推送保护扩展到非结构化密钥,使可被拦截的密钥数量翻倍以上。

    推荐理由:用九个季度数据论证密钥泄露量随代码量而非开发者粗心同步增长,检测能力需随算力扩展。

  8. Hacker News28

    EmDash 使用 Cloudflare Clef 对插件注册表进行内容审核

    EmDash 宣布其官方插件注册表已接入 Cloudflare 的 Clef 决策模型,对所有上架插件的文本、图片与链接进行审核。原本需要两个文本模型加一个图像模型的管线被替换为单一多模态模型,文本审核 p95 延迟 1.64 秒,21 个公开回归用例在 63 次运行中全部命中预期结果,概率达到 0.45 以上的条目转人工复核。

    推荐理由:文章给出一个用单一多模态决策模型替代多模型审核管线的实践案例,含评测方法、阈值设定与人机兜底流程,对类似内容审核场景有参考价值。

  9. TechCrunch · AI49

    Meta 推出新 AI 工具,检测暗中指向儿童性虐内容的广告

    Meta 宣布推出新 AI 工具用于检测那些表面无害、但可能将用户引向外部儿童性虐内容的广告,包括一套用于识别这类"signposting"行为的大语言模型系统、一个用于测试自家防护措施的"红队 AI 智能体",以及用于扫描此前可能漏掉的儿童剥削内容和识别被封后换号回归用户的系统。

    推荐理由:原文明示了新工具针对的广告模式和 Meta 儿童安全治理的数据量,便于结合监管压力理解其产品策略。

  10. Anthropic News58

    Anthropic 推出扩展版 Cyber Verification Program,设三层访问开放给安全团队

    Anthropic 推出扩展版 Cyber Verification Program(CVP),将网络攻防能力分成 Defense Access、Red Team Access 和 Specialized Access 三层,开放 Claude Opus 5.5、Claude Sonnet 5.5 与 Claude Mythos 5.1 等模型,供通过审核的安全团队使用。

    推荐理由:原文将网络攻防能力按使用场景分成三层访问,并附带评测与漏洞发现数据,可作为同类双用途能力分级方案的参考。

  11. Ars Technica · AI66

    Google 升级 SynthID AI 内容检测工具并面向全球开放

    Google 上线独立的 SynthID 检测网站 SynthID.com,新版工具支持识别全部合作方模型的 AI 生成内容水印,面向全球开放。此前外部用户只能通过 Gemini 或加入可信测试者计划查验水印,新版可直接上传内容判断其是否由 AI 生成。Google 表示,Gemini 已为超过 1800 亿张图片与视频、24 万年时长音频嵌入 SynthID 水印。

    同一件事,精选收录的是《Google DeepMind 上线 SynthID Detector 用于识别 AI 生成内容》

  12. Hacker News63

    Google DeepMind 上线 SynthID Detector 用于识别 AI 生成内容

    Google DeepMind 在 synthid.com 提供 SynthID Detector,用户可上传图片、音视频文件检测其中是否带有 SynthID 水印,水印由 Google、Nvidia、OpenAI、Kakao 的生成模型在创作时嵌入。

    推荐理由:原文对比了 SynthID 水印方案与通用 AI 检测器的识别机制差异,并说明了当前只能覆盖合作方模型的限制。

10月6日周二
  1. HF Daily Papers60

    论文提出校准式真实图像认证方法,应对深度伪造检测随生成器迭代失效

    这篇论文评测了 20 种深度伪造检测器与近四年发布的 10 种生成器,发现检测准确率随时间从 99.5% 降至 76%,并会被对抗扰动压至 2% 以下。作者将这一不可靠归因于生成器能精确复刻真实内容,提出一种输出校准式可否认性预测的检测范式,在已知生成器集合上将误认证率约束在 1% 以内。

    推荐理由:原文把深度伪造检测不可靠归因于生成器能复刻真实内容,并提出带校准阈值的认证框架,给出了可量化的误认证上限。

  2. Anthropic News66

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型,仅向通过审核的机构开放。Mythos 5.1 与面向更广范围的 Claude Fable 5.1 共享同一底层模型,Fable 5.1 可识别源代码中的软件漏洞,生物学相关安全策略的误触发率比 Fable 5 降低 85%。

    推荐理由:原文同时介绍了 Claude Mythos 5.1 的能力进展与分级访问机制,读者可以据此理解高端模型在网络安全与生命科学方向的扩散控制思路。

10月5日周一
10月3日周六
  1. 量子位60

    OpenAI安全团队持续动荡,负责人David Robinson离职,三名员工因泄密被开除

    OpenAI安全透明度负责人David Robinson离职,三名从事安全与模型对齐研究的员工因向外部AI安全机构泄露公司敏感信息被开除。

    推荐理由:具体写出了Robinson主导的system card与Preparedness Framework 2.0工作内容,并点出被开除员工与METR、Redwood Research的关系,便于读者判断这轮人事变动对OpenAI安全治理的实际影响。

  2. The Verge · AI12

    Shivon Zilis 在 X 宣布与 Elon Musk 分手

    Shivon Zilis 在 X 上宣布与 Elon Musk 分手,两人育有四个孩子。Zilis 在 Musk 起诉 Sam Altman 案中出庭作证时透露,自己横跨 Musk 的"整个 AI 组合"——Tesla、Neuralink 和 OpenAI 工作,每周工作 80 至 100 小时。Musk 共有 14 个已知子女,多位孩子母亲曾与他发生公开法律纠纷。

10月2日周五
  1. TechCrunch65

    医疗记录巨头 Epic 暂停产品开发以修复危及患者数据的安全漏洞

    医疗软件巨头 Epic 宣布暂停大部分产品开发约六周,原因是部署 Anthropic 的前沿网络安全模型 Mythos 后在 MyChart 中发现了安全漏洞,可能让外部人员在不留入侵日志的情况下访问患者记录。MyChart 在全美维护超过 3.2 亿份患者病历;Epic 首席安全官 Stirling Martin 表示,AI 模型未说明漏洞能否被用于篡改记录,但风险已足以推动全面修复。

    推荐理由:原文记录了大型医疗软件公司因 AI 模型发现安全漏洞而暂停开发的完整事件,读者可以据此判断AI安全工具在实际场景中的影响。

10月1日周四
  1. 量子位69

    谷歌发布 Gemini 4 Argon:搭载 RSI,基准成绩领先 Opus 5.5 和 GPT-6

    谷歌发布 Gemini 4 Argon 旗舰模型,搭载 RSI,在 DeepSWE v1.1(77.4%)、CWE-bench v1(68%)、Vals Index(68.90%)等基准上领先 Claude Opus 5.5 和 GPT-6 Astra,并在 Code Arena 排第八。

    推荐理由:文章集中给出 Gemini 4 Argon 与 Opus 5.5、GPT-6 Astra 在 DeepSWE、CWE-bench、Text Arena 等基准上的横向对照和价格差异,读者可据此定位它在前沿模型梯队中的相对位置。

  2. Latent Space75

    Google DeepMind 发布 Gemini 4 Argon,输出上限扩至 1M token

    Google DeepMind 发布 Gemini 4 Argon,面向编码、企业知识工作与网络防御场景,通过 Long Decode Continuation 把输出上限提到行业首创的 1M token(此前 64K),在 19 项公开基准中 13 项超过 GPT-6 Astra 和 Claude Opus 5.5。

    推荐理由:把 Gemini 4 Argon 的 1M 输出、定价与对 Astra、Opus 5.5 的基准对比汇于一篇,便于横向定位其在当前前沿中的位置。

9月30日周三
  1. 量子位62

    OpenAI推理之父最新访谈:数学只是多智能体时代的开胃菜

    OpenAI研究员Noam Brown在最新播客访谈中把数学解题视为多智能体时代的开场,讨论了多智能体扩展、递归自我改进与对齐等议题。他透露OpenAI用1万个Agent、88小时、1300亿token解出Navier-Stokes千禧年难题,但表示其中多智能体贡献不到10%,核心仍是模型本身;他同时指出思维链可监测性正在下降,并强调对齐是当前第一优先事项。

    推荐理由:OpenAI推理核心成员在长访谈中复盘多智能体拿下千禧年难题的细节,并给出对齐、递归自我改进与思维链监测的判断。

  2. 量子位65

    Anthropic警告智谱GLM-5.3网络安全能力,量子位解读为反向广告

    Anthropic发布网络安全报告将智谱的GLM-5.3点名为开源权重模型中网络能力最强的一款,量子位分析质疑报告里的实测数据实为GLM-5.3的免费广告。

    推荐理由:文章将Anthropic对GLM-5.3的警告放入开源与闭源产品形态之争,并附上abliteration成本与攻击链细节,可作为比较两种路线安全取舍的参考。

  3. Simon Willison51

    Anthropic Frontier Red Team:GLM-5.3 与 Claude Mythos Preview 在漏洞利用基准上跨过零成功率门槛

    Anthropic Frontier Red Team 在内部 Binary Exploitation 基准上对 GLM-5.3 与 Claude Mythos Preview 各跑 100 项任务,分别在 4% 与 6% 的试次中实现完整控制流劫持,跨过了此前的零成功率门槛;同批评估的 Claude Opus 4.6 与 GLM-5.2 在所有任务上均未成功。

    推荐理由:在内部漏洞利用基准上,GLM-5.3 与 Claude Mythos Preview 都跨过了此前模型无法取得成功的门槛,给出了具体的数字对照。

9月29日周二
  1. MIT Technology Review38

    MIT Technology Review The Download:气候技术值得关注公司榜单与 AI 的发现争议

    Anthropic 宣布其分子生物学实验室的 AI 智能体发现一种与 CRISPR 类似、未被记录的酶学模式,但生物学家质疑这是否算真正的科学发现,部分研究者指出同一模式此前已有报道。文章认为对 AI 设置过低门槛可能妨碍真实科研进展的识别。本期还预告了将于 10 月 6 日发布的 2026 气候技术值得关注公司榜单。

    推荐理由:围绕 Anthropic 酶学发现展开分析,提醒读者区分 AI 新颖性与真正的科学突破之间的差距。