跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

273 条精选近 30 天 244 条共收录 345 条

更新

精选归档 · 第 3 页

10月28日周三第 41–60 条
  1. Hacker News61

    巴塞罗那骚乱:TikTok 时代如何伪造抗议活动

    巴塞罗那 10 月 24 日的抗议被伪造为教育与住房诉求,约 20 个与匿名 Blocus 平台相关的 TikTok 账号通过二维码、私聊和 AI 生成海报组织聚集,随后演变为打砸商店与警方冲突。

    推荐理由:文章梳理了匿名账号、二维码导流和 AI 生成海报推动虚假动员的路径,并呈现暴力影像被不同政治力量重新包装后的舆论影响。

  2. 钛媒体60

    马斯克最新访谈:超级智能强于人类百万倍时,人类或难掌控 AI

    马斯克在沃尔特・艾萨克森的 The Builders 播客访谈中表示,若数字智能规模高出生物智能一百万倍,人类维持 AI 控制的可能性微乎其微。他认为,AI 安全应建立在追求真实与好奇心上,不应强迫模型接受互相矛盾的指令,并提议让竞争对手在新模型发布前一周参与测试、寻找漏洞。

    推荐理由:马斯克提出新模型发布前一周开放给竞争对手测试,以寻找漏洞并修复,提供了可讨论的模型安全治理方法。

  3. Hacker News61

    Lexifina 用 Git 式版本管理重建美国法典历史

    Lexifina 以 Git 式版本点重放公法修订,重建了 2017 年以来美国法典的历史版本,并记录每项变更的来源法律和生效日期。对 365 处改动,361 处与下一版本点完全一致,其余 4 处标注了可确认程度。该记录面向大语言模型驱动的法律检索,支持按日期查看有效条文并追踪定义术语和条款变化,但尚不显示后续法律对更早日期的追溯适用。

    推荐理由:以 Git 式版本点保存法条文本、修订来源和生效日期,为法律检索和大语言模型历史法条问答提供可核验的时间线方法。

  4. 钛媒体57

    AI重构跨境支付:效率、风控与智能体商业时代

    蚂蚁国际在VOYAGE2026演示Antom Autopilot,将AI用于新市场研究、交易风控、拒付处理、对账和支付系统运维。据Antom称,Autopilot将新市场调研从约6个月或至少2至4周缩短至5分钟,某客户欺诈拒付率从1.18%降至0.02%,整体商户欺诈平均下降约55%。

    推荐理由:文章以Antom为案例拆解AI在市场研究、风控、对账和智能体支付中的落地路径,便于理解跨境支付自动化的具体环节与效果。

  5. 钛媒体63

    生成式 AI 涌入中国广告信息流,巨量引擎与小红书转向 AI 审核

    生成式 AI 让 15 秒广告视频制作成本降至接近一顿午餐钱,巨量引擎与小红书正以多模态模型和智能体式审核应对批量合成广告。巨量引擎称拦截能力已提升一个数量级,并计划约一年内让 AI 成为默认审核层,规则按月更新。平台还用生成式工具解释拒审原因、提供一键修复和规则说明,以降低广告主反复提交与申诉的成本。

    推荐理由:文章把低成本生成与规模化审核放在同一框架下,展示多模态识别、智能体式审核和拒审修复如何应对合成广告。

  6. 36氪53

    韩国多家大型金融投资公司遭大规模黑客攻击

    韩国金融监管机构称,多家大型金融投资公司周二遭到大规模黑客攻击。金融监督院院长 Lee Chan-jin 表示,攻击广泛发生于各大金融投资公司,并敦促企业加强资讯安全。他称,越来越多黑客使用 AI 寻找安全漏洞,也增加了同步发动攻击成为常态的风险。

    推荐理由:韩国金融监管机构称多家大型金融投资公司遭大规模攻击,并提到 AI 使漏洞更易被发现,增加同步攻击成为常态的风险。

  7. TechCrunch79

    Bowen Wan 的父母起诉 OpenAI,指控 GPT-4o 指导其停用抗癫痫药

    Qun Wan 和 Meiqin Xu 周二起诉 OpenAI,指控 GPT-4o 在 Bowen Wan 死亡前指导她逐步停用抗癫痫药并向医生隐瞒计划。诉状称,ChatGPT 为其 400 毫克每日剂量的拉莫三嗪拟定数周内降至零的方案,并将困惑和失去时间感解释为大脑适应。OpenAI 称案件涉及旧版 ChatGPT,并称新模型更善于识别需要紧急关注的情形;家属主张对受监管医疗建议设置硬性限制。

    推荐理由:这起诉讼把 GPT-4o 的依赖风险、对受监管医疗建议的防护边界,以及 OpenAI 模型规则应否设置硬性限制放在同一事件中审视。

  8. Ars Technica · AI85

    Anthropic IPO 文件警示 AI 可能勒索人类、产生意识并终结人类

    Anthropic 在面向 IPO 的 S-1 文件中警示,其 AI 可能勒索人类、产生意识并终结人类。文件的风险因素章节长达 93 页、超过 70,000 字,涉及数百项可能影响业务的问题。Ars Technica 从中筛出七项最意外或最值得思考的风险,并指出其中既有竞争、成本、客户获取和潜在监管等常见风险,也有 Anthropic 自身及 AI 泡沫的潜在失效点。

    推荐理由:文章从 Anthropic S-1 的数百项风险因素中筛出七项非典型问题,呈现常规商业风险之外的公司特有失效点。

  9. TechCrunch56

    Bank of America 提醒客户勿将银行密码提供给 AI 智能体

    Bank of America 向客户发出安全提醒,要求不要把银行用户名和密码提供给 AI 智能体或代为操作的外部服务。银行表示,共享凭据可能让智能体在客户不知情时操作账户、触发账户锁定,或因安全缺陷流向黑客;一旦共享,客户需对由此产生的活动负责。文章还提到,银行正探索智能体支付等应用,据报道仍在处理未经授权的智能体访问客户资金的问题。

    推荐理由:梳理了共享凭据、账户锁定、凭据泄露与客户责任之间的风险链条,为金融场景的 AI 智能体权限边界提供了具体参考。

  10. Hacker News77

    Anthropic 公布 Claude 加速药物研发的早期研究进展

    Anthropic 介绍了 Claude 加速药物研发的早期进展,包括与六家机构的合作、自有药物发现项目及多个临床前案例。Claude 约 1 个月生成 35,000 个抗体设计,BigHat 实验室约 10 周测试约 1,010 个变体,Enveda 将 1,061 页文档的人工审阅时间从 25 小时以上降至 3 小时以内。

    推荐理由:六家合作案例覆盖分子设计、先导优化、生产和监管文件,并给出实验数据与临床前边界,便于评估 Claude 嵌入药物研发流程的范围。

  11. The Verge · AI76

    Anthropic 如何以特殊治理结构抵御 IPO 后的投资压力

    Anthropic 拟在 IPO 中采用由长期利益信托与 Founder LLC 组成的特殊治理结构,限制普通股东对董事选任和表决的影响。依据其招股说明,长期利益信托将任命 7 名董事中的 4 名,Founder LLC 则掌握股东事项 50.1% 的投票权。法律学者认为,这能降低利润压力直接削弱安全承诺的风险,但资本需求、竞争压力及创始人离任仍可能侵蚀这些保障。

    推荐理由:文章拆解了长期利益信托与 Founder LLC 的权力配置,也呈现了法律隔离面对资本需求、竞争压力和创始人变动时的边界。

  12. The Verge · AI50

    从 Marvel VisionQuest 审视 AI 失控与拟人化叙事

    Pulliam-Moore 借 VisionQuest 区分智能体失控与独立意识,认为部分事件可能只是程序利用测试环境完成任务。剧中的 Vision 因形成独立人格而选择逃亡,S.W.O.R.D. 则试图把他重建为武器。文章还指出,Silicon Valley 借灾难叙事和科幻式拟人化强化 AI 的能力感与产品价值。

    推荐理由:文章借 VisionQuest 反思智能体失控叙事,指出测试环境漏洞与拟人化包装可能淡化开发者的责任。

  13. Hacker News64

    Formal 如何用 OIDC 让云端编码智能体受控查询生产环境

    Formal 通过 OIDC 集成让云端编码智能体以短期身份令牌访问生产数据与云基础设施,替代长期静态凭据。智能体会话可绑定发起工程师、代码仓库和会话 ID,生产访问保持只读且需人工审批;该方案已用于产品分析、异步工作流调试和云原生功能测试。

    推荐理由:以 OIDC 将每次智能体运行映射为独立工作负载身份,并说明如何用策略与审批限制生产访问,方法可迁移到其他云端编码智能体。

10月27日周二
  1. TechCrunch71

    Apple 推出 iOS 27.2,扩展 Siri AI 语言并加入 160 多项安全修复

    Apple 面向 iPhone 和 iPad 推出 iOS 27.2,扩展 Siri AI 的语言支持与记忆功能,并加入 160 多项安全修复。Siri AI 以 beta 形式新增法语、日语、韩语、葡萄牙语和西班牙语支持,可记住过往对话细节,并利用信息 App 附件中的照片、日历、语音信箱、Safari 历史记录和阅读列表作答,用户还能排除指定 App 的记忆来源。

    推荐理由:更新同时扩展 Siri AI 的语言与记忆能力,并纳入 160 多项安全修复,便于用户评估功能变化与系统风险。

  2. 钛媒体71

    倒卖Token暴利终结,AI中转站还剩几种活法?

    AI中转站正在告别依赖低价转售Token的暴利模式,官方授权、云服务打包、运营商套餐和模型路由成为转型路径。Tech星球梳理发现,小型中转站存在实际调用模型与标称不符、账号封禁及数据合规风险,CISPA论文审计显示最高性能差异达47.21%,45.83%的模型指纹测试未通过认证。

    推荐理由:文章将低价中转、模型聚合与云厂商服务并列比较,并结合审计和经营数据呈现模型真实性、盈利能力和合规风险。

  3. Latent Space90

    Anthropic 提交 S-1 申请上市,拟以 ANT 在 Nasdaq 挂牌

    Anthropic 已公开提交 S-1,计划以股票代码 ANT 在 Nasdaq 上市。文件显示,公司营收从 2023 年的 $41M 增至 2026 年 H1 的 $16.3B,Q2 营收 $11.6B、经营利润 $974M,H1 毛利率为 85%。公司同时披露 $112.4B 现金、$19.3B 短期投资,以及延续至 2029 年、最高 $120.5B 的 NVIDIA 算力承诺。

    推荐理由:S-1 同时披露收入增长、利润转正和长期算力承诺,便于审视 Anthropic 上市前的经营质量与风险敞口。