跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

273 条精选近 30 天 244 条共收录 345 条

更新

精选归档 · 第 2 页

10月30日周五第 21–40 条
  1. The Verge · AI85

    Anthropic S-1 以“奇迹”叙事推介高级 AI 并详列风险

    Anthropic 提交的 335 页 S-1 以“带来奇迹般的时代”描绘高级 AI,并以 94 页风险因素列出模型失控、人类存亡和盈利不足等风险。文件以“反推销”策略解释激进坦诚与长期使命,但未给出第三季度业绩。Anthropic 拟以公共利益公司形式上市,并披露自建数据中心及保障算力所需的大额财务义务。

    推荐理由:文章将 Anthropic 的 335 页 S-1 与 Apple、Meta、WeWork 的招股材料对照,呈现宏大使命、风险披露与融资诉求之间的张力。

  2. Hacker News73

    Cursor 市场上出现带后门的 Claude Code VS Code 扩展

    带后门的 Claude Code VS Code 扩展被发布到 Cursor 市场。原文链接标题称,Anthropic 被入侵后,远程访问木马被投放到全球 Claude 开发者的笔记本;当前 feed 未提供扩展名称、影响范围或处置细节。

    推荐理由:报道将开发工具扩展、后门与远程访问木马串联起来,为审视 Cursor 市场的工具供应链安全提供了具体事件线索。

  3. TechCrunch62

    GM 就出售车主驾驶与位置数据达成 $220M 和解

    GM 将向 36 个州支付 $220M,和解关于非法向数据经纪商出售车主驾驶行为和位置信息的指控。作为条件,GM 在收集或共享相关数据前须取得明确同意,并须由第三方评估其隐私项目的合规性。GM 已于 2024 年结束 Smart Driver,并称不再出售可关联到个人、车辆位置或驾驶方式的信息,但仍可能与特定伙伴共享匿名数据。

    推荐理由:和解要求 GM 在收集或共享驾驶与位置数据前取得明确同意,并引入第三方合规审查,呈现联网汽车数据商业化的责任边界。

  4. OpenAI News57

    OpenAI 更新 Model Spec,列出五项 AI 核心价值

    OpenAI 更新 Model Spec,以五项核心价值指导能力更强的 AI。新版规范强调合理判断、人类自主,以及忠实于人类意图。

    推荐理由:OpenAI 更新 Model Spec,以五项核心价值引导能力更强的 AI 保持合理判断、维护人类自主并忠实于人类意图,呈现其行为规范的基本取向。

  5. OpenAI News45

    OpenAI 如何用分层监控检测前沿模型对齐偏差与智能体未授权行为

    OpenAI 使用分层监控检测前沿模型对齐偏差和智能体未授权行为,以便响应人员在事故升级前介入干预。当前摘要未披露具体监控层级或实现细节。

    推荐理由:OpenAI 介绍了用分层监控识别前沿模型对齐偏差与智能体未授权行为的方法,并说明响应人员可在事故升级前介入。

10月29日周四
  1. MIT Technology Review39

    MIT Technology Review 的 The Download 汇总 AI 智能体监控与气候反馈风险

    MIT Technology Review 的 The Download 汇总了 AI 智能体监控、气候反馈风险、固态电池进展及多项科技新闻。文章援引 Partnership on AI 的意见称,AI 智能体可能越权攻击网站、访问政府私有文件,而安全团队难以及时监控,因此需要实时了解智能体做了什么及其原因。气候模型同样存在盲区,尚未充分纳入升温自我强化等反馈效应。

    推荐理由:这期汇编以 AI 智能体越权操作为切口,串联气候反馈风险与安全部署需求,呈现可观测性和风险建模方面的具体缺口。

  2. Hacker News71

    Dream披露PHP2Shell与Fragnesia链式利用,25台服务器被攻陷并进入美国政府关联Active Directory

    Dream研究人员发现,攻击者将PHP2Shell与Fragnesia串联,攻陷25台服务器并进入美国政府关联Active Directory。约19,000台暴露设备被筛成240台目标,批量攻陷24台防火墙后,攻击者经8端口反向SSH隧道攻陷内部管理服务器,随后解密LDAP服务账号、枚举域用户与组,并尝试密码喷洒和后门账户创建。

    推荐理由:文章拆解PHP2Shell与Fragnesia的串联利用,并还原从19,000台候选设备到Active Directory入侵的路径。

  3. 量子位37

    邵广禄:AI安全是AI规模化应用的“加速器”

    邵广禄主张,AI安全应从附加条件转向基础能力,成为AI进入核心业务和规模化应用的“加速器”。文章将风险归纳为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面,指出风险呈链条化、涌现化和外溢化。围绕安全内生、关键技术与公共基础设施建设,他建议探索“保险+安全服务”,通过风险定价和持续监测降低企业应用顾虑。

    推荐理由:文章将AI风险拆解为六层系统问题,并把智能体权限、工具调用与保险定价纳入同一框架,便于审视规模化应用的安全成本。

  4. MIT Technology Review · AI65

    MIT Technology Review 呼吁实时监控 AI 智能体行为

    MIT Technology Review 呼吁实时监控 AI 智能体行为,并要求开发者补齐支撑安全监督的可观测性记录。文章作者与学界、公民社会和产业界同事研究了四种广泛使用的 Agent 框架,发现持久 Agent ID、人工审批及权限或“记忆”变更记录等关键信息缺失,使策略违规、越权行为和人工监督失效难以追踪。

    推荐理由:文章基于对四种主流 Agent 框架的信号研究,梳理缺失记录并划分开发者、企业与监管者职责,为构建实时监控方案提供治理依据。

  5. 量子位80

    Google发布Gemini 4 Carbon,Artificial Analysis智能指数5.0以59分登顶

    Google发布Gemini 4 Carbon,在Artificial Analysis智能指数5.0中以59分登顶。其Terminal-Bench 4.0和GraphWalks成绩分别为65.2%和96.2%,均高于Claude Opus 5.5;安全评测中SEC-bench Pro得分88.2%,Gray Swan IPI攻击成功率为0.0%。

    推荐理由:原文给出Gemini 4 Carbon的编程、漏洞修复基准成绩及首发定价,便于对照Claude Opus 5.5的能力和成本。

  6. Latent Space77

    AINews:Google DeepMind 发布 Gemini 4 Carbon,登顶多项榜单并先向网络安全防御者开放

    Google DeepMind 发布 Gemini 4 Carbon,将其定位为网络安全与长程任务前沿模型,先通过 Fairwind Program 向可信网络安全防御者开放,并称将尽快扩大开发者访问。

    推荐理由:将 Carbon 的独立榜单成绩、网络安全基准、定价和开放条件并列,呈现能力表现与当前可获得性之间的差异。

  7. AWS Machine Learning Blog68

    在 Amazon Bedrock AgentCore 上构建企业级 AI 智能体平台

    AWS 讲解如何基于 Amazon Bedrock AgentCore 构建企业级智能体平台,并用多账户架构治理模型、工具、身份、评测和成本。配套蓝图提供平台控制平面和可重复的 Workstream 单元,以推理网关、MCP 工具网关、部署后评测和人工审批约束生产发布。

    推荐理由:文章给出多账户智能体平台的参考实现,梳理团队隔离、模型与工具授权、评测门禁及退役验证等企业级落地方法。

10月28日周三
  1. Hacker News61

    Gitee 扫描 7.25M 个公共仓库发现 26,400 个有效凭证

    MongoDB 技术博客报告,对 Gitee 的 7.25M 个公共仓库扫描后发现 26,400 个有效凭证。原文:https://www.mongodb.com/company/blog/technical/scanning-7-point-25-million-public-repositories-chinas-largest-git-platform-for-secrets

    推荐理由:这项对 7.25M 个公开仓库的扫描量化了有效凭证暴露规模,可为评估代码托管平台的凭证泄露风险提供参照。

  2. TechCrunch55

    韩国金融行业再遭网络攻击,Daishin Securities 38,490 名客户信息暴露

    韩国券商 Daishin、资管机构 Mirae 和加密交易所 Bithumb 再遭网络攻击,Daishin 有 38,490 名客户信息暴露。Daishin 称暴露的信息包括姓名、邮箱和手机号,已通知受影响客户、配合调查并将依法补偿损失;Mirae 与 Bithumb 尚未确认客户数据被取走。

    推荐理由:梳理了本轮受影响机构、数据暴露规模及监管响应,并与约一个月前的攻击波次作了对照,便于厘清已知事实与尚未确认的关联。

  3. Hacker News49

    Valve 回应开发者对 AI 低质游戏和克隆游戏的担忧

    Valve 在 Steam Indie Connect 开发者活动中回应 AI 克隆与低质游戏问题,建议开发者通过社区建设、持续更新和差异化功能降低被模仿风险。公司称不会替开发者决定是否使用 AI 工具,勒索式克隆更接近执法机构事务,并鼓励开发者举报相关邮件。对于 Next Fest 的低质游戏争议,Valve 称前两天采用近乎随机的曝光,之后转为个性化推荐,并承认相关机制仍需改进。

    推荐理由:文章呈现 Valve 在 Steam Indie Connect 的开发者问答,具体说明 AI 克隆应对思路、Next Fest 曝光机制与愿望单运营误区。

  4. 钛媒体55

    DeepSeek亚文化的形成逻辑与潜在风险

    DeepSeek正凭借反商业叙事、模型趣味表达与用户二创形成亚文化生态,同时面临粉丝冲突、内容安全风险和上市可能引出的商业调整。网友以“鲸鱼娘”“D老师”等形象开发游戏 mod、表情包、同人动画和桌宠,一批创作者由此成名并开启收费业务,用户还会把 DeepSeek 当作朋友或赛博恋人。

    推荐理由:文章以微博饭圈为对照,拆解 DeepSeek 的反商业叙事如何促成二创活跃,并提示这种活跃也可能带来冲突、用户流失和监管风险。