技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
261 条精选近 30 天 245 条共收录 297 条
Soft-MTP 通过 KL 梯度恢复移除多 Token 预测中的噪声残差，在不增加参数且无可测开销下改善困惑度、推测解码与推理表现。该方法支持 DeepSeek 和 Meta 风格的 MTP；在 167M 至 1.2B 参数规模上，相比标准 MTP 获得更低的 NTP 困惑度、更快的推测解码和更高的 zero-shot 准确率，1.2B 模型微调后的数学与代码推理也更强。
推荐理由：论文将标准 MTP 梯度拆为 KL 自蒸馏信号与噪声残差，并给出兼容现有训练内核的一行代码改法，为多 Token 训练提供低开销路径。
联邦法官裁定 Anthropic 使用逾10位斯坦福教授的盗版书籍训练 Claude，合法购书训练 LLM 可构成合理使用。
推荐理由：案件区分了盗版取书与合法购书训练的法律边界，并呈现 $1.5 billion 和解、作者另行起诉和强制许可三条路径。
Open3DLab 称，Roblox 关联爬虫未经许可下载其三个站点的 1,027 个文件，共 145.5 GB，涉及 712 个项目及成人内容。日志显示，该爬虫于 10 月 15 日至 16 日访问 18,926 个项目页面并发出 26,429 次请求，无视 robots.txt 和服务条款，仍抓取了 423 个仅限非商业使用的项目。
推荐理由：站点日志记录了 145.5 GB 模型被抓取的规模与许可冲突，也让 AI 训练数据中的成人内容筛选和创作者授权成为具体争议。
小米披露基于汽车工厂1827个标准作业程序（SOP）验证的21自由度仿生灵巧手技术成果，并给出不同自由度的抓握表现比较。基于真实作业数据的仿真消融分析显示，17~21自由度的平均稳定抓握成功率较6~15自由度提升15%~38%，其中21自由度在工厂操作覆盖度和抓握成功率上提升最大，继续提升至23自由度及以上时边际收益下降。
推荐理由：基于1827个工厂SOP比较不同自由度的抓握表现，并指出23自由度以上收益放缓，便于理解灵巧手的设计取舍。
科大讯飞发布讯飞星火X2.6，采用全国产算力训练，由一个云端大模型搭配4B端侧模型，并按任务难度和数据敏感度决定本地执行、两端协同或云端处理。长程任务动态并行训练使超长上下文训练效率提升约4倍，自适应存算协同结合四层KVCache和分布式推理，使推理效率提升4.5倍。4B端侧模型将复杂智能体任务完成率推至41.9%，端云路由准确率为96.1%，敏感资料可在本地关联或脱敏后再上传。
推荐理由：端云路由、长程任务动态并行训练与存算协同给出了明确指标，呈现了国产算力受限下兼顾效率和数据本地化的实现路径。
S3AC 提出一种稳定化的 Actor-Critic 训练方法，通过难度感知提示词采样改进大语言模型的长链式推理，并减少对分组 rollout 的依赖。训练后的 critic 提供 token 级优势和提示词特定基线，DAPS 再结合难度估计与历史结果，在生成前选择提示词，以减少 rollout 浪费且无需离线难度初始化。
推荐理由：论文将 critic 训练、token 级信用分配与难度感知采样整合，并用多规模模型和单 rollout 对比呈现方法收益。
行元智能推出跨本体数据引擎 Chorus众行，将智能眼镜、胸戴相机和 UMI 设备采集的人类操作视频统一处理并适配至多种机器人。流程涵盖原子动作识别、语义标注、三维运动重建、轨迹优化和跨本体映射，当前测试有效数据转化率约 85%。适配 16 种机器人本体后，1 小时预筛选人类视频可生成约 13.6 小时动作轨迹，结合 3 倍指令增广实现约 40 倍有效训练数据扩容。
推荐理由：文章给出 Chorus 的跨本体数据处理链路及约 40 倍扩容测试结果，并呈现机器人模型在部署反馈中持续迭代的路径。
论文提出 Venus-DefakerOne2 统一反伪造基础模型，通过交替 LoRA 与全参数微调、基于熵的测试适配，扩展对多种伪造形式和媒体类型的检测。
推荐理由：交替 LoRA 与全参数微调结合熵驱动测试适配，为跨图像、视频和物理欺骗的统一取证提供了可复用设计。
Timestral 论文提出一个用于概率预测的时间序列基础模型家族，包含 5M、28M、123M 和 209M 四种参数规模。Timestral-209M 与 Timestral-123M 在 GIFT-Eval、TIME 和 fev-bench 的每项指标上均位居前两位。
推荐理由：论文给出解耦预测范围、未来协变量支持以及先合成预训练再混合后训练三项设计，为时间序列基础模型构建提供可复用方法。
WorkFactory 通过信息规划和探测修复构建 112,686 个可执行职业任务，并用收集到的教师轨迹微调 Qwen，产出 WorkPilot 智能体模型。
推荐理由：信息规划、探测执行与修复形成了一套可迁移的任务构造方法，多种模型规模的实验结果可用于比较监督训练的收益与规模效应。
纽约大学与德克萨斯大学奥斯汀分校团队通过跨模型语料对比，发现 AI 模型过度使用六类会让人类阅读费力的语言结构，包括罕见词组、关联成分远置、连接词省略、名词堆叠、把名词用作动词和给无生命主语配生命动词。
推荐理由：研究用六类语言结构对比模型与人类文本，并结合短答案惩罚实验分析可读性差异，为模型写作风格优化提供具体线索。
OpenAI 通过 Signals 数据展示 ChatGPT 在 165 类工作活动中的应用，以及使用情况如何随时间变化。数据覆盖近 100 个国家，呈现人们在工作中使用 ChatGPT 的方式。原文链接：https://openai.com/index/chatgpt-expanding-world-of-work
推荐理由：OpenAI Signals涵盖165类工作活动及近100个国家，可为观察ChatGPT在工作场景中的使用方式与时间变化提供数据视角。
Sebastian Raschka 发布 8 个从零构建推理模型的教学视频，总时长 11 小时，使用 Python 和 PyTorch 实现核心方法。课程以预训练 Qwen3 0.6B 为起点，依次实现生成与评估、推理时扩展、RLVR、GRPO、蒸馏和 MATH-500 评测。代码和章节示例可独立学习，前期示例可用 CPU，后续训练实验更适合使用 GPU。
推荐理由：课程以 Qwen3 0.6B 为基础，代码覆盖评估、推理扩展、RLVR 和蒸馏，便于对照实验理解各技术如何影响模型表现。
布朗大学学生 Ma 用“权力映射”绘制全球 AI 数据劳动地图，当前串联 13 家数据标注公司、141 个企业客户和 31 个国家的数据工人站点。地图以标注企业交付中心作为数据工人所在地代理，呈现企业将标注工作外包给 Global South 廉价劳动力的链条；Ma 将其视为 AI 殖民主义的体现。该地图并非完整覆盖，但可作为公共教育工具，未来或用于帮助数据工人识别彼此并组织起来。
推荐理由：这张地图以数据标注企业的交付中心作为数据工人所在地代理，串联 13 家标注公司与 141 个企业客户，呈现 AI 劳动的隐性权力结构。
MIT Technology Review 的 The Download 以观点文章和进展追踪为主，并汇总当日科技新闻，核心议题是日常 AI 危害与核动力太空飞行。
推荐理由：文章将灾难性 AI 风险与日常使用伤害相对照，为理解当前安全讨论为何需要扩大关注范围提供清晰框架。
炎曦动力公开具身基座模型 Paimon-0，在 RoboColiseum 以 0.7754 排名第一，并超过 GPT-6 Astra。它在 RoboCasa365 和 VLA-Arena 分别以 58.1、0.73 排名第一，并以 46.599 总分夺得启元机器人 IROS Workshop 双臂机器人挑战赛冠军。
推荐理由：文章以榜单成绩和端云协作为线索，解释 Paimon-0 的 query token 蒸馏、自我改进设计及其与机器人芯片方案的衔接。
国星宇航“星算”计划已随朱雀二号改进型遥四火箭将8颗卫星送入轨道，目标是让卫星在轨处理遥感数据，从“天感地算”转向“天数天算”。“星算”02组卫星搭载AI计算、高速激光通信和微光相机等载荷，入轨后整个星座在轨总算力达到50P，完整计划包括2400颗推理卫星和400颗训练卫星。文章还梳理三体计算星座、太空算力云和天基光计算路线，并分析散热、能源、星间通信、成本和应急救灾等落地条件。
推荐理由：文章用95%遥感数据未下传这一约束串联“天数天算”的技术路线、星座规模与商业化难点，便于理解太空算力为何强调分钟级响应。
中信建投研报关注物理AI数据与仿真、AI安全、国产芯片与超节点及算力服务等方向。研报称，寒武纪、海光信息三季度收入增长且毛利率环比提升，国内部分配置及海外高端GPU租金上行，算力服务景气延续。通用大模型与执行框架协同提升机器人操作能力，高质量交互数据、仿真合成及评测体系建设有望扩大物理AI产业需求；PHP漏洞和LiteLLM供应链事件凸显漏洞利用、凭证管理及运行时防护需求。
推荐理由：研报串联算力服务、机器人数据与模型安全三条需求线，为观察物理AI相关产业动向提供了机构视角。
论文提出多尺度策略优化 MPO，以多尺度优势估计（MAE）和轮次级重要性采样，对齐长程大语言模型智能体训练中的信用分配与策略更新。研究观察到 critic value 主要随轮次变化，因此选择轮次作为优化锚点，并细化 token 间的信用分配。在搜索、工具使用和自动化任务上，MPO 使用 4B 和 30B-A3B 模型时较強 RL 基线取得一致增益。
推荐理由：MPO将轮次尺度信用分配与token级归因结合，并覆盖搜索、工具使用和自动化任务的多模型实验，便于比较长程智能体训练方案。
论文作者在 arXiv 发布 NeurIPS 2026 论文《预训练数据的词汇印记》，提出以词级 unigram 交叉熵衡量预训练语料与目标基准之间的词汇对齐。实验发现，标准基准中几乎所有词汇都已在预训练阶段出现，模型在不同词之间分配的概率质量会留下可测量的词汇印记。更强的词汇对齐在从零开始的受控实验中持续对应更高的零样本准确率。
推荐理由：论文区分了词语覆盖与概率质量分配，并用从零训练实验检验词汇对齐与零样本准确率的对应关系。