大语言模型的数值线性代数:一篇综述
这篇综述从数值线性代数(NLA)视角梳理机器学习尤其是大语言模型(LLM)的核心技术。文章向NLA研究者阐明LLM核心概念,同时回顾LLM技术中的关键NLA方法及NLA近期对LLM领域的重要贡献。
这篇综述从数值线性代数(NLA)视角梳理机器学习尤其是大语言模型(LLM)的核心技术。文章向NLA研究者阐明LLM核心概念,同时回顾LLM技术中的关键NLA方法及NLA近期对LLM领域的重要贡献。
PerturBot 提出一种针对 VLA 模型的扰动训练框架,通过手腕视角扰动、决策相关指令扩写与失败轨迹重标注三种手段,打破策略对模态捷径的依赖。方法不改变推理流程,并配套提出离线诊断指标 GroundingFscore,用于衡量策略对任务证据而非捷径先验的依赖程度。
ServiceNow CoreAI 在 Hugging Face Blog 发布 AutoSynthData 框架,通过分析目标模型在企业环境中的失败用例、由更强教师示范成功轨迹,自动生成带验证器的合成训练任务,按 Target 与 Multiply 两阶段扩增样本。
推荐理由:以目标模型的失败用例驱动合成训练数据生成,并把任务难度逼近能力边界,为企业智能体后训练提供了一种可迁移思路。
DuoMatching 提出面向少步视频生成的分布匹配框架,通过统一的联合-边缘公式近似真实视频分布,并由图像生成器提供帧级监督。框架引入 LatentBridge 解决视频学生模型与图像教师模型的潜空间表征差异,并借助 Latent Variation Sampling 将帧级监督分布到不同时间片段。实验显示其在视觉质量、构图与语义对齐上均有提升,人类偏好率在所有对比基线上超过 80%。
SEER 是一个面向时间序列预测的闭环框架,将预测误差解耦为反射式检索记忆与持续因果知识库两类反馈机制,分别用于过滤噪声、修正后续检索查询,以及提炼可迁移的领域动态。框架在事件检索与反思过程中强制严格的时间顺序约束,以防止前视偏差和数据泄露。在六个波动性时间序列 benchmark 上,SEER 持续超越现有 SOTA 时序基础模型和大语言模型基线。
Harness-Aware Distillation(HAD)在 on-policy 蒸馏基础上新增动作偏好对比与有效性校验两个组件,专注于学习教师模型在 harness 之外提供的增量能力,无需任务奖励、成功标签或未来信息。该方法在多个长程智能体基准测试中优于同条件下的蒸馏基线,更少陷入无效循环且错误恢复更频繁。
一项 6G Open RAN 意图解读对比研究显示,Jev-1.13.0 决策模型在 99.8% 调用中满足 1 秒近实时预算,两款托管大语言模型分别仅 17.9% 和 0%。大语言模型中位解读耗时 0.286 至 2.35 秒,远超 A1/E2 传输的 25 毫秒以下;在 RANIntent v1 基准上没有任何托管大语言模型在基点带来相对 Jev-1.13.0 的可分辨 SLA 改善。
MetaRubric 提出
Collective Bias Mitigation (CBM) 框架通过模型路由与多模型协作缓解大语言模型偏见,弥补单一模型自去偏的不足。在 top-7 设置下,Committee 拓扑将年龄偏见分数从 0.25 降至 0.10,显著优于独立基线。框架包含 Debating 和 Committee 两种拓扑,后者兼顾偏见缓解效果与推理成本。
Graphite 研究发现,AI 写作中仍有 13000 多个短语出现频率是人工写作的两倍以上。Claude Opus 5.5 最显著的痕迹是 'this matters'。
推荐理由:Graphite 给出了 Claude Opus 5.5、Astra 等模型的量化写作特征,并解释了为何提示词习惯难以彻底消除。
以色列魏茨曼科学研究所 Michal Irani 团队开发出一种 AI 工具,仅凭高分辨率 fMRI 脑扫描就能重建被试者看到的图像,并在对比中显著优于已有方案。
推荐理由:原文把这项脑扫描重建图像方法与此前需约 40 小时校准的方案做了对比,并讨论迁移到 EEG 后放大的隐私风险。读者可以据此判断当前脑解码技术的实际进展。
Argo-Bench 是一个新发布的预印本基准,专注于评估 LLM 数据智能体在企业级工作流中的日常决策能力。作者指出,现有 text-to-SQL 基准(如 Andon Labs 的 Vending-Bench 2)多止步于微观决策,而 Argo-Bench 旨在测试大语言模型在预测、欺诈预防等多业务领域的大型企业级表现。项目页已上线演示。
InterEvolve 提出测试时奖励程序进化方法,让已训练的人形机器人控制器无需重训即可完成新运动操作任务。它由物体感知 forward-backward 行为基础模型把新奖励映射为 loco-manipulation 行为,并由 LLM 智能体依据执行反馈改写奖励程序结构、数值优化器调节常数。
EditHero 是首个面向长时程部件级 3D 编辑的基准,提供自然语言指令与几何/纹理目标图像,编辑序列经人工审核。研究对比自上而下从学习到的 3D 表示重新生成对象的非智能体方法,以及通过代码自下而上修改网格的 LLM/VLM 智能体。非智能体方法常遗漏目标改动并扰动其他区域,多数 LLMs 遵循指令更准确且更好保留未编辑部分,但每次编辑耗时数分钟。
研究提出选择式结构化推理(SSR)框架,将多模态搜索智能体的推理从开放式生成改为从预定义自然语言候选中选取,以降低小模型开销。在 2B 和 4B 模型、七个多模态搜索基准上,SSR 结合监督微调与多种强化学习目标,在任务成功率与同规模领先搜索智能体相当的同时,将单轮推理延迟降低超过 90%,整体每题模型推理延迟降低 28-54%。
LOCI 是一种面向视频世界模型的混合空间记忆架构,将 KV cache 与循环线性注意力记忆结合。记忆读写由投影相机几何条件驱动,在 MIND 基准和留出轨迹上比同类世界模型与 full softmax 更忠实地复现重访内容;满历史场景下峰值内存降低约 30%,有界记忆库下可恒定内存流式处理长视频。
研究者提出 Architect-Ant 框架与 AntPlan 数据集(505 张专业平面图、92 类家具、10 种房间),对真实建筑平面图自动生成可编辑家具布局,无需预设推理轨迹。其功能完整性与布局规则得分在对比基线中最高,几何违规更低,生成速度显著快于迭代式 agentic 方法,输出可直接转为 3D 场景。
研究人员提出 HIDE 基准与 SEEK 框架,分别用于评估和增强部分可观测机器人操作中的任务级记忆能力。HIDE 包含 15 个任务,涵盖重复计数、历史状态回忆与执行进度追踪,SEEK 融合三种互补记忆机制。实验显示现有策略在 HIDE 上存在显著局限,记忆增强在仿真与真实环境中均提升任务成功率,三机制组合在所评测配置中取得最高平均成功率。
JevSpawn 是一种组合策略,将自然语言任务规范映射到有限概率探索空间,通过并行动作生成、反馈驱动的分支选择、表示修订和替代路径恢复,无需额外训练即可减少重复生成与上下文计算。在 8 个基准任务上对 7 个智能体基线及 TypeSafe Jev 变体的评估显示,JevSpawn 在任务性能和导航速度上均优于对比方法。
DEFINE 是端到端零样本 TTS 框架,通过分别用参考音频控制说话人身份和目标口音实现解耦。该框架基于 F5-TTS 与参数高效 LoRA 适配,无需推理时口音标签或合成后波形转换,单个推理时引导权重即可连续调节口音强度而无需重新训练。
Diptych 是一个用于音乐制作参考听音的 AI 辅助对比系统,允许用户在整曲或独立片段上自定义对比范围,并查看结构化音频特征与范围对应的 AI 解读。在 12 名音乐人的被试内实验与 4 位专家盲评中,借助该系统发现的 10 项差异中有 9 项获得至少部分专家支持,且参与者反馈系统易用性好、对下一步行动更清晰。
研究提出 STAIR(Stale-Token Attention for Inter-query Reuse)方法,通过复用先前回答中的 key-value 帮助 LLM 提升后续问题准确率。该方法保持基础模型冻结,仅训练 12,288 个参数;在三个 Qwen 模型和四个 benchmark 上,将带历史的后续轮次平均准确率最高提升 11.67 个百分点。
Claude Opus 5.5 本周上线,在 SimpleBench 上以 88.4% 居首,社区认为它在由代码生成解说视频方面表现突出。
推荐理由:汇总 Opus 5.5 的核心基准与社区实测反应,同时覆盖多款模型与产品的周度动态。
研究者提出并行幂次回火(PPT)采样方法,通过并行运行不同锐化强度的多个副本缓解幂次采样中的探索-利用矛盾。实验表明 PPT 显著优于单链幂次采样与强化学习后训练模型,产生的推理轨迹质量更优,部分任务上性能可媲美前沿模型。
RLE-Bench 是一个面向机器人学习工程的编程智能体评测基准,覆盖交互式控制、策略学习、感知与估计、机械设计四类开发工作流。该基准通过成功率、训练策略、构建 harness 与机械结构等任务专用指标评估智能体产出,并聚合成 RLE Index 以支持多维能力对比。论文还结合案例研究分析了智能体在代表性任务上的当前能力与局限。
MemFold 提出固定预算软记忆方案,将查询条件化的文本记忆压缩为 K 个连续向量作为 reader 的记忆接口,并通过组相对奖励与置信度门控的在线策略蒸馏在 reader 自身 rollouts 上训练;冻结的文本记忆教师仅对采样 token 重打分,不做自回归解码,推理时完全移除。
E-MoE 提出将扩散语言模型的反向过程构建为基于 MoE 专家路由离散共享隐变量的因子化分布混合,以避免高斯潜变量方法的后验坍缩问题。在合成多模态基准、二值化 MNIST 和 LM1B 上的实验中,E-MoE 在少步生成场景下优于因子化基线,且相较该基线未增加激活参数。
Jack Clark 的 Import AI 周报第 474 期覆盖智谱、谷歌、Stanford、Periodic Labs 等多条 AI 前沿动态。
推荐理由:同一期里并列哲学思辨、机器人后训练、太空 TPU 与 AI 实验室自动化四条线,便于参照前沿展开节奏。
研究者提出PDE-JEPA框架,用预测式表征预训练替代重构式目标,用于参数化偏微分方程动力学建模。它由掩码潜在预测编码器、几何投影器与物理结构化潜在预测器三部分组成,在九个PDE基准上较现有SOTA方法在分布内平均提升33.4%,在未见参数外推上平均提升51.4%。
PersonaDose 通过特质描述与请求强度控制语言模型人格表达,在 Llama-3.1-8B、Qwen3-8B 和 Gemma-3-4B 上将 Persona Vectors 一致性 75 分阈值下的核心特质表达相比对比激活加法分别提升 33.2、18.3 和 17.8 分。
Tex-Zero 框架证明原生 3D 纹理生成无需依赖真实 3D 资产训练,仅用 2D 图像即可实现高保真输出。其方法将 2D 图像表示为 3D 空间中的平面,通过 patch-wise 随机旋转与聚合构造几何结构,并据此训练 Tex-Zero VAE 与 Tex-Zero DiT。实验显示该方案仅依赖图像数据即可生成具有细粒度细节的 3D 纹理,项目代码已开源。
IDU(Inverse Distillation)框架结合选择性数据遗忘与一步生成,由全量数据训练的扩散或 flow 教师模型指导一步学生模型抑制指定子集、保留其余数据的生成质量。
MinkowskiPE 提出一种结合闵可夫斯基几何与洛伦兹变换的位置编码方法,用联合时空坐标变换 query 与 key 特征,使注意力分数仅依赖 token 间的相对时空位移,兼具时空平移不变性与 FlashAttention 兼容性。该方法不假设物理系统遵循相对论动力学,仅作为表示层几何归纳偏置,在蛋白-配体分子动力学和 KTH 视频预测两类差异显著的任务上均取得一致性能提升。
ALeWM(Adaptive LeWorldModel)是一种基于联合嵌入预测架构(JEPA)的世界模型,学习将预测信息集中到宽潜变量表示的紧凑前缀中,并引入 MixSIGReg 正则化替代标准抗坍缩目标。在受控动力系统和目标条件视觉控制实验中,ALeWM 平均成功率高于调优后的固定宽度 LeWM,同时平均规划容量更低。
GeoSET 是首个面向 SAR-to-EO 图像翻译的通用基础模型,基于单一预训练父模型通过统一协议适配下游任务。团队从逾千万 SAR 观测中精选 300 万对样本,提出散斑鲁棒 SAR 编码器,借助 LoRA 仅需更新 0.60% 生成器参数,每数据集约一小时即可适配。该模型在六个下游基准的 FID 与 DISTS 上均取得 SOTA。
DMM(Decentralized Master-Mind)提出一种去中心化多智能体路径规划方法,用迭代意图去噪替代单次动作采样,在 1,600 个 MovingAI 任务中解决 1,598 个,覆盖率高于所有评估基线。该方法以模仿学习预训练,再由无评论器的组相对强化学习方法 MICPO 微调,并可在障碍丰富的环境中扩展到超过 100 万个智能体同时行动。
NVIDIA 与 Google DeepMind、EMBL-EBI 等机构在 AlphaFold Database 公开 2800 余种病毒的蛋白复合物 3D 结构预测数据,并开源了 BioNeMo Structure Prediction Pipeline。
推荐理由:展示了 AlphaFold2 与 BioNeMo 推理栈在病毒蛋白复合物预测上的规模化能力,并标注具体数据集规模与新增蛋白相互作用比例。
Anthropic 旗下生命科学团队用 Claude 智能体在 DNA 序列库中自主发现类 CRISPR 的新型酶系统 ART。约 950 个 Claude 智能体在 21 小时内用 2.1 亿 token 筛查逾 20 万条 RT 序列并锁定 ART,随后通过湿实验初步确认其结构。
推荐理由:Claude 通过约 950 个智能体自主分析 DNA 库,发现类 CRISPR 的新酶系统 ART,给出了 AI 驱动生物学发现的具体方法。
Microsoft Research 在 Nature 发表论文,推出用于小分子逆合成预测的 RetroChimera 模型。它将基于 Transformer 的 R-SMILES 2 与基于 GNN 的 NeuralLoc 通过学习排序策略融合,盲测中博士级化学家更偏好其单步反应预测;在十项挑战性多步合成任务上成功九项,超过此前编辑模型与 NeuralSym 基线。
推荐理由:原文给出 R-SMILES 2 与 NeuralLoc 的集成方法及化学家盲测结果,可作为合成路线规划方法的比较参考。
Import AI 第 473 期汇总了近期多项 AI 研究动态。RAND 报告建议美国以"行动自由"策略保留通向超级智能的多重选项,分共存、拒止、加速三类共七种战略。
推荐理由:把 RAND 战略报告、嵌合脑实验、节奏控制议程等不同维度的进展整合到同一期,便于读者横向比对同一窗口里多个议题的成熟度。