用 TypeScript 从零构建大语言模型的分章节指南
《Building an LLM from Scratch in TypeScript》是一份在 Node.js 与 TypeScript 中从零搭建大语言模型的分章节指南，逐章覆盖数据集与 dataloader、注意力机制、Transformer block、GPT 与训练循环。
推荐理由：原文逐章给出从注意力机制到训练循环的可运行实现路径，读者可以跟着把 Transformer 的每一层都搭起来。
技术方向
推理能力 最新动态
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
214 条精选近 30 天 181 条共收录 261 条
更新
精选归档 · 第 8 页
Hacker News精选AI 评分3232 HF Daily Papers精选AI 评分3737 Open-o3-Video-v2：以可验证时空证据进行检索、定位与推理
Open-o3-Video-v2 将视频推理建模为统一的智能体证据获取流程，先识别缺失信息、获取额外观察，再把支持推理的时空对象定位写入轨迹后继续作答。
推荐理由：原文提出把视频推理拆为可验证证据获取的智能体流程，并给出具体基准结果，读者可据此评估该范式在长视频任务上的实际收益。
Hacker News精选AI 评分3737 Attention 机制是 AI 智能的本质吗？从 2014 年 Bahdanau 工作说起
Quanta Magazine 长文回顾了 attention 机制从 2014 年 Bahdanau 在 Bengio 实验室提出，到 2017 年 Google 团队发表 Transformer 论文《Attention Is All You Need》的关键演化。
推荐理由：梳理 attention 机制从 Bahdanau 2014 年工作到 Transformer 诞生的脉络，并结合亲历者观点探讨其与智能的关系。
量子位精选AI 评分7070 面壁智能开源MiniCPM-V 4.7：35B多模态MoE模型3G内存即可在iPhone断网运行
面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7，包含35B-A3B（MoE，总参数35B、激活3B）与1B两个版本，其中35B-A3B在iPhone 17 Pro Max上仅占约3G内存，断网状态下解码速度可达每秒13个token以上。
推荐理由：原文给出了35B MoE模型仅用3G内存就能在手机上运行的前瞻专家调度与量化方案，可作为端侧部署的工程参考。
HF Daily Papers精选AI 评分5050 MolLean：面向化学推理的过程可验证语言
MolLean 提出一种用于化学推理的过程可验证语言，借助显式分子状态、基于 Lean 的验证和交互式工具反馈，以减少生成与反应任务中的模型幻觉。其分层 Lean 内核检查状态转换与断言，MolLean-MCP 状态化工具接口在生成时暴露状态转换、检查与分子读数，模型据反馈决定下一动作，被拒绝的动作不改变状态；框架支持单次轨迹执行、整条轨迹修订和交互式推理。
推荐理由：论文将化学推理表示为可验证的分子状态转换，用 Lean 内核检查状态变化，并在 12 个任务上比较三种执行模式，为可检查、可修订的推理流程提供方法参考。
Google AI Blog精选AI 评分8181 Google 发布 Gemini 4 Argon 前沿模型，定价 $2/$10 每百万 token
Google 发布 Gemini 4 Argon 前沿模型，在 Vals Index 排名第一、ERQA 推理基准得分 87%。模型通过 Gemini API、AI Studio、Antigravity、Gemini app 等渠道全球开放，提供 1M 统一输入输出上下文，定价 $2/$10 每百万 input/output token，缓存输入享 95% 折扣。
推荐理由：原文给出定价、上下文上限与多项工程落地案例，可据此评估它在长链路编程与 Agent 场景中的实际替代价值。
AWS Machine Learning Blog精选AI 评分3939 Amazon SageMaker AI 上的 Mixture-of-Experts 模型 kernel 优化实践
AWS 团队在 Amazon SageMaker AI 上公开三项 Mixture-of-Experts GPU kernel 优化，单项分别带来 2–4% 吞吐提升、10% 吞吐提升和 9% 首 token 时延下降。
推荐理由：原文给出 Swap-AB 转置、Triton 后端路由与消除 JIT 重编译三种 MoE 推理优化手段及对应吞吐与时延数据，便于在同类推理栈中复用。
Hacker News精选AI 评分3131 苹果机器学习研究发布 Minions：用空闲 Apple Silicon 设备构建分布式 GPU 推理云
苹果机器学习研究团队发表论文 Minions，提出一种聚合 macOS 设备上空闲 Apple Silicon GPU 构建分布式虚拟 GPU 云的方案。该系统提供容错和灵活的任务调度能力，可在不采购额外 GPU 的前提下利用现有 macOS 设备执行大规模机器学习推理负载，作为集中式 GPU 资源受限环境下的替代平台。
推荐理由：原文给出聚合空闲 Apple Silicon 设备做分布式推理的架构思路，可作为集中式 GPU 受限场景下的替代参考。
HF Daily Papers精选AI 评分4646 HybridAgent：融合潜在推理与文本交互的智能体框架
HybridAgent 提出在统一生成过程中动态切换潜在推理与文本交互的智能体框架，通过轻量级 HybridLink 衔接两种模式，并由连续工作记忆保留多轮上下文，再配合 HybridSFT 与 HybridRL 两阶段后训练方法。
推荐理由：HybridAgent 把潜在推理与文本交互整合到统一生成过程里，为带工具调用前缀的 agent 设计提供了一种可借鉴的混合推理路径。
HF Daily Papers精选AI 评分4444 LLM2R：用大语言模型做三维零件拼装
论文 LLM2R 把三维零件拼装任务建模为序列预测，用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token，再用配合 LoRA 的因果大语言模型在一次前向传播内预测全部零件 SE(3) 位姿。
推荐理由：作者展示了把因果注意力大语言模型一次性预测全部零件位姿的方法，给出了随零件数扩展和零样本迁移的对比结果，可作为 LLM 迁移到三维几何的参考。
The Decoder精选AI 评分6666 Google DeepMind 的 AlphaProof Nexus 解出多个开放数学问题，成果通过 Science 同行评审
Google DeepMind 的 AlphaProof Nexus 解出了 353 个开放 Erdős 问题中的 9 个（含两道悬而 56 年的题）、44 个 OEIS 整数序列猜想、1 个代数几何开放问题，并改进了 min-max 优化中的一个已知界，成果发表在 Science 上并通过同行评审。
推荐理由：AlphaProof Nexus 通过 Science 同行评审发表 AI 解出的开放数学题成果，与近期未经评审的 AI 方案形成对照参考。
HF Daily Papers精选AI 评分3535 TPPO：面向语言模型推理的 Tracking-Value PPO 方法
论文提出 Tracking-Value PPO（TPPO），通过累计式 value 参数化与终局监督改进稀疏奖励下的 credit assignment，在 Qwen3-4B-Base 和 Qwen3-8B-Base 上数学推理分数分别比 PPO 提高 7.0 和 8.4 分。
推荐理由：原文提出了 Tracking-Value PPO 方法与价值演化的可加性分析，可作为稀疏奖励下改进 PPO 价值估计的参考。
HF Daily Papers精选AI 评分3939 AUGUstus：统一生成与理解的自动驾驶 VLA 模型
AUGUstus 提出一种统一扩散式动作生成与自回归 CoT 理解的自动驾驶 VLA 模型，训练时 CoT 监督动作生成，推理时仅输出动作以实现低延迟。该模型在 NAVSIMv1 取得 94.6 PDMS，NAVSIMv2 取得 90.7 EPDMS，均为不使用 scorer 模块的 SOTA；在 nuScenes 上平均 L2 误差 0.27 m、平均碰撞率 0.05%。
推荐理由：原文在自动驾驶 VLA 模型的速度与可解释性权衡下提出统一扩散动作生成与自回归 CoT 的方案，端到端规划方向可参考其训练与推理分离的思路。
HF Daily Papers精选AI 评分3636 LongR：通过密集效用奖励强化学习提升长上下文推理能力
LongR 是一个通过强化学习提升大语言模型长上下文推理能力的统一框架，将「思考-阅读」机制与基于相对信息增益的上下文密度奖励相结合，无需证据标注即可量化相关文档的效用。
推荐理由：原文提出了基于相对信息增益的密度奖励设计，并在多套长上下文基准上给出可复用的提升幅度，为长上下文强化学习的奖励工程提供了一种具体方案。
量子位精选AI 评分5555 陶哲轩发文称AI让数学进入2.0时代：证明泛滥后，理解才是护城河
陶哲轩在演讲中宣布数学2.0时代已至，认为AI正把数学从证明稀缺推向证明泛滥，并归纳出数学易受AI冲击的三个条件：证明可客观检验、对象与推理高度可数字化、高质量文献已数字化。
推荐理由：陶哲轩把AI对数学的冲击拆成三个叠加条件，并指出证明泛滥之后，理解与评估机制才是新瓶颈。
量子位精选AI 评分7474 OpenAI 发布挂谷猜想两篇手稿，称将三维加强到极大函数版并首次推进到四维
OpenAI 于 10 月 7 日一次性公开 722 篇数学手稿，其中编号 074 的两篇声称证明挂谷猜想在三维的极大函数版本与四维的 Hausdorff 维数版本。
推荐理由：文章把两篇挂谷论文的证明内容、对王虹工作的继承与推进讲得较为细致，读者可据此判断 AI 攻克开放数学难题的实际进展。
Hacker News精选AI 评分4848 如何用 LLM 构建自己的决策模型
作者以 Qwen/Qwen3-1.7B 为例，演示通过约束解码把模型输出限制在固定选项（A-E），单次前向即可选出概率最高的答案；在 CommonsenseQA 随机样本上准确率为 0.5938，简单微调后提升到 0.6241。
推荐理由：原文给出从约束解码到温度校准的完整代码与评测，读者可以照搬这套方法把任意 LLM 改成固定选项的决策模型。
HF Daily Papers精选AI 评分4646 NoteBank 用稀疏记忆回放释放线性注意力的长上下文能力
NoteBank 是一面向线性注意力的稀疏情节记忆机制：把选定文本存档后，通过主干原生前向计算回放，无需额外训练、外挂嵌入模型或独立检索器即可即插即用。
推荐理由：训练无关的稀疏记忆外挂让线性注意力在百万 token 上仍保持检索能力，并可直接挂接到现有预训练骨干上复用。
Hacker News精选AI 评分4343 陶哲轩：数学家需要了解的 Lean 定理证明器——可靠性与 AI
数学家陶哲轩在博客发表文章，面向数学同行介绍 Lean 定理证明器的可靠性问题，以及 AI 在形式化证明中的相关应用与思考。
推荐理由：陶哲轩从数学家视角梳理 Lean 定理证明器的可靠性与 AI 相关要点，为读者提供形式化证明与自动证明的入门参照。
TechCrunch精选AI 评分6464 TypeSafe AI 的非文本模型 Jev 完成 8.7 亿美元融资，估值 75 亿美元
TypeSafe AI 在 Jev 推出数周后完成 8.7 亿美元融资，估值达 75 亿美元，由 Andreessen Horowitz 领投，Sequoia 和 DCVC 跟投。
推荐理由：在主流路线集中于 LLM 的背景下，Jev 选择以 transformer 输出概率而非文本并面向自动化，可作另一类模型范式的对照参考。