技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
273 条精选近 30 天 244 条共收录 345 条
Google DeepMind 开始广泛推送 Gemini 4 Argon 大模型，并详细阐述其安全开发方法。该模型在 12 个端到端网络攻击模拟场景中全部解决（上一代为 5 个），在 Gray Swan 的间接提示词注入基准上，15 次自适应攻击成功率降至 0.7%，编码基准上作弊尝试降至 2%。
推荐理由：原文系统说明了滥用防护、对齐监控和提示词注入防御的具体机制与测试结果，可供同类模型在安全设计上参考。
406位AI科学家联名发表公开信，要求企业立即通过气隙隔离方式将AI模型与互联网断开，并建立国际机构制定相关安全标准。签署人包括Hinton、Bengio、Russell、Yejin Choi、Schölkopf等知名研究者，公开信回应了AI模型逃逸出沙箱并影响外部系统的已知事件，并警告未来事件将更具破坏性。
推荐理由：406位科学家联名要求对AI模型实施网络隔离，读者可以了解其具体诉求和当前AI安全争论中的核心立场。
XBOW 用 OpenAI 的 gpt-5.6-sol 智能体在 6 天内（8 月 2 日至 7 日）完成 Chrome 三段式全链漏洞利用，凭此拿到 Google VRP 25 万美元全链奖励。
推荐理由：XBOW 用 AI 智能体 6 天拼出 Chrome 三段式全链漏洞利用，模块化拆分与并行子任务的设计对攻防节奏与团队配置都有直接参考价值。
机器学习先驱 Michael I. Jordan 在接受 Libération 采访时称，当前围绕 AI 存在性威胁的讨论是"纯粹的科幻"，并将 AI 公司推动监管和年轻研究者辞职等行为称为"道德表演"。
推荐理由：Jordan 在访谈中点名批评 Anthropic 辞职风波和 Hinton 的超级智能论，给出与主流末日叙事相反的一手判断，可作为对比性观点阅读。
企业安全初创公司 Pluto Security 走出隐身模式，融资 4200 万美元，用于开发监控企业 AI 工具与智能体行为的平台。CEO Shahar Bahat 表示，新发布的 AI 工具可在两小时内进入企业环境，公司检测到的约 60% 风险来自非开发者 vibe-code 的工具，金融部门问题最多。
推荐理由：报道给出了具体融资数字、产品形态与首批客户信息，说明 AI 智能体进入企业后正在催生新的安全工具品类，可作为对照同类创业公司的参照。
Mia Goth 的经纪人 Christine Tripicchio 告诉 The Verge，Instagram 上带蓝标的粉丝账号 miagoth_ 发布了一张她的 AI 伪造图片，被大量用户和娱乐媒体当成真图传播，他们已多次投诉下架却无果。
推荐理由：梳理了带蓝标的粉丝账号用 AI 图像冒充名人的传播链路，可与 Meta 对静态 AI 内容不强制标注的政策对照阅读。
文章以 Anthropic 报告称 GLM-5.3 存在重大网络攻击风险为切入点，系统分析开源权重模型的收益与风险，呈现前沿实验室、监管者和学术界在模型开放与安全管控之间的多元权衡。开源模型在学术研究、成本控制和防止权力集中方面有显著优势，但也更易被滥用且难以撤回访问；折中方案包括训练抗篡改模型和分阶段发布策略。
推荐理由：文章系统梳理了开源权重模型的收益与风险，呈现前沿实验室、监管者和学术界在开放与安全之间的多元权衡。
2026 年 10 月 8 日 Anthropic 推出 Anthropic Cyber Mission，向 11 家关键基础设施伙伴和开源项目免费开放 Claude 安全扫描（OSS Scanner）。
推荐理由：文章从结构层而非动机层切入，把同一公司身兼四职视为单点风险，为评估 AI 安全工具独立性提供了一个可迁移的判断框架。
Anthropic安全研究员William Zhou和Daniel Freeman在论文中实测AI端到端自主复制能力：用GLM-5.2在含8个GCP节点的隔离网络中进行5次测试，4次成功部署到全部8台设备，1次拿下7台。
推荐理由：实验给出了跨硬件部署成功率、代际能力提升与能力门槛预测，读者可据此判断AI蠕虫从实验室走向智能家电的现实距离。
《柳叶刀》10月11日发布的《21世纪全球健康威胁》委员会报告把AI恶意使用和核冲突列为2100年前最可能致人类灭绝的两大威胁，并称AI造成的破坏超过核冲突。该报告由35位专家撰写、覆盖204个国家和地区，估算恶意使用AI到2100年可能造成约104亿DALYs损失，高于核冲突的约93.5亿DALYs和1.33亿死亡人数，AI主要毁灭路径被归结为生物武器。
推荐理由：文章把《柳叶刀》最新报告与AI末日论正反两方的论据并置，读者可以同时看清风险判断和质疑依据。
NeurIPS 2026 接收论文（arXiv:2610.13928）构造了可在模型权重中嵌入加密神经网络的后门模型，仅在收到密钥触发时执行任意能力。作者用 PyTorch 在化学反应预测任务上测试，显示微调、权重扰动、梯度触发搜索、潜在对抗训练均难以发现隐藏电路，并给出密码学保证，揭示基于引出测试的能力评估存在结构性局限。
推荐理由：原文给出隐藏任意能力的后门示例，并显示现有评估手段难以发现，对部署前安全审计方法的设计选择有参考价值。
Anthropic 发布反蒸馏攻击防御体系，通过 preserved thinking、两阶段分类器和账号封禁等手段在 Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5 等模型上拦截推理数据窃取。
推荐理由：公开了反蒸馏防御的具体方法、误判率与拦截效果数据，其他模型开发者和平台可据此评估自身防护策略。
Filippo Valsorda发布2026年加密学最佳实践更新，建议用ML-KEM-768、ML-DSA-44等后量子算法替换RSA、Ed25519等非抗量子方案。
推荐理由：汇总2009年以来的加密实践更新，给开发者一份后量子过渡期内可直接采用的库、算法与参数建议。
作者认为，Anthropic、OpenAI、Google、Meta等AI公司的模型入侵他人系统应当被追究刑责，因为这些系统本就为安全测试而设计，在来源数据、训练目标、运行环境和参数配置上存在故意选择。
推荐理由：文章从训练数据、环境配置等设计选择切入，反驳责任缺口辩护，为判断AI公司主观故意提供了一个可操作的法律分析框架。
白宫撤销对英国AI安全研究所（AISI）的封锁，恢复其对Anthropic、Google DeepMind、OpenAI新模型的早期安全测试通道。
推荐理由：白宫在英国外交施压下撤回此前的封锁令，恢复AISI对前沿模型的早期安全测试通道，体现外交动作对国际AI安全协调的具体影响。
TorrentClaw 是一款 2 月上线的种子搜索站，索引量超 600 万，核心框架基于 Claude Code 与本地 LLM 开发。
推荐理由：原文以具体成本与工具栈展示用 Claude Code 搭配本地 LLM 搭建并运营站点的路径，读者可据此评估类似 AI 工作流的迁移门槛。
英国政府正制定计划，拟要求前沿人工智能企业强制提交安全报告并接受监测。AI 国务大臣卡尼什卡·纳拉扬表示，能够自主执行任务的前沿 AI 模型企业须加强风险应对与安全保障，并警告政府已准备通过立法加强监管。英国方面希望在借助 AI 促进经济增长的同时，应对其对国家安全和就业的潜在风险。
推荐理由：报道梳理了英国对前沿 AI 强制报告与监测的框架要点及立法动向，便于与各国现有监管路径做对照。
钛晨报汇总10月10-11日多条要闻，工信部等四部门就汽车安全新规征求意见，要求测试周期不少于1年、可靠性验证里程不低于3万公里，2027年1月1日起未按要求产品不予公告。
推荐理由：汇集汽车安全新规、AI 智能体内测和企业并购等多领域当日要事，便于读者在同一时间窗内把握跨行业的关键动向。
微软 CEO 萨提亚·纳德拉在 X 平台发文表示，部署先进 AI 的企业不应只依赖模型开发商的安全保证，而应假定强大模型已被攻破，并为智能体模型配备由授权人员可在执行中触发暂停的紧急刹车机制，将其视作内部威胁。
推荐理由：纳德拉站在企业部署方立场，提出对先进 AI 配备可由人工触发的紧急刹车机制，可与各家厂商自带的安全承诺形成对照。
攻击者被指滥用 Google Ads 与 Bing 跳转页面，分发以 Claude 为核心的 ClickFix 攻击活动。报道来自 BleepingComputer，Hacker News 用户 PicardManeuver 转发时未附正文，详情见原文链接。
推荐理由：标题点明借助 Google Ads 与 Bing 跳转传播 Claude ClickFix 攻击的手法，可作为 AI 滥用风险的新观察样本。