跳到正文
  1. 面壁 MiniCPM42

    面壁发布 MiniCPM-OCR-1.0-DSpark-gguf GGUF 量化模型

    面壁发布 MiniCPM-OCR-1.0-DSpark-gguf 的 GGUF 量化模型,提供 Q4_K_M 版本,可在本地加载并通过图像输入示例调用。README 给出 llama.cpp、vLLM、Ollama 和 Docker Model Runner 的安装与运行方式。

    推荐理由:模型页给出 Q4_K_M 量化包在 llama.cpp、vLLM、Ollama 中的部署调用方法,并提供图像输入 API 示例,可参考搭建 OCR 推理流程。

  1. AWS Machine Learning Blog64

    使用 torchtitan 在 AWS Trainium 上训练 Qwen3

    AWS 教程演示如何在单台 trn2.48xlarge 上使用 torchtitan 以三种配置训练 Qwen3。

    推荐理由:教程给出 Qwen3 的三种训练路径及自定义 NKI 算子接入流程,可作为在 Trainium 上迁移分布式训练实践的参考。

  2. Hugging Face Blog53

    用 Isaac Lab 3.0 训练并部署 Microduck 双足机器人步态策略

    Pollen Robotics 与 Hugging Face 联合发布开源双足机器人 Microduck,并演示如何用 NVIDIA Isaac Lab 3.0 与 Newton 在仿真中训练步态策略、导出为 ONNX 并部署到真机。

    推荐理由:文章给出 Isaac Lab 仿真训练到 ONNX 真机部署的完整命令与配置,读者可据此复现 Microduck 步态策略工作流。

  1. AWS Machine Learning Blog54

    Reflection Beam 登陆 AWS SageMaker JumpStart,面向智能体编码的开源权重模型

    Reflection AI 的开源权重模型 Beam 已上线 Amazon SageMaker JumpStart,整体为稀疏 MoE,总参数 501B、激活参数 23B,有效上下文长度 1M tokens,权重以 Apache 2.0 在 Hugging Face 发布,提供 BF16、FP8、NVFP4 三种检查点。

    推荐理由:文章对比 JumpStart 实时端点、HyperPod Inference 与 SGLang 或 vLLM 三条部署路径及对应 H100/H200/B200 实例,便于评估在 AWS 上运行 Beam 的硬件与运维取舍。

  1. AWS Machine Learning Blog37

    Amazon SageMaker JumpStart 模型部署与性能评测教程

    AWS 博客演示如何用 SageMaker Python SDK v3 从 Amazon SageMaker JumpStart 发现并部署模型,以 huggingface-vlm-qwen3-5-27b 为例运行示例 prompt 测量延迟和生成速率,最后清理端点。

    推荐理由:给出可复用的部署与评测脚本以及控制台改进要点,读者可以据此搭建不同 JumpStart 模型之间的横向对比流程。

  1. Hacker News48

    如何用 LLM 构建自己的决策模型

    作者以 Qwen/Qwen3-1.7B 为例,演示通过约束解码把模型输出限制在固定选项(A-E),单次前向即可选出概率最高的答案;在 CommonsenseQA 随机样本上准确率为 0.5938,简单微调后提升到 0.6241。

    推荐理由:原文给出从约束解码到温度校准的完整代码与评测,读者可以照搬这套方法把任意 LLM 改成固定选项的决策模型。

  1. Hugging Face Blog72

    用 HuggingChat 的 ML Intern 训练定制小模型:6 个项目提示词与成本公开

    作者用 HuggingChat 的 ML Intern 在几天内训练了 6 个定制小模型,包括柑橘病害分类器、Huggy 角色 LoRA、相机视角 LoRA、涂鸦替换 LoRA、0.8B 口袋改写器与 Agate 4 步蒸馏模型,总算力约 103 美元。

    推荐理由:作者公开了用 ML Intern 训练小模型的 7 段提示词与项目流程,强调 Verified facts、基线、smoke test 与预算上限等可被迁移使用的写法。

  1. Hugging Face Blog60

    用 Gradio Workflow 重建 AUTOMATIC1111 的图像生成流程

    Gradio 团队发布 Workflow1111,用 73 个节点、11 条媒体管线在 Gradio Workflow 画布上复刻了 AUTOMATIC1111 的大部分功能,包括文本生图、高清修复、图像编辑、prompt 矩阵、VLM 反推、检测生成 inpaint 蒙版、Annotator、上采样、背景移除、PNG Info 与图生视频。

    推荐理由:把 AUTOMATIC1111 的常见图像生成流程拆成 Gradio Workflow 节点,读者可以对照 ComfyUI 评估这种节点式工作流在多模型组合和 MCP 调用上的差异。

  2. Hugging Face Blog55

    TRL v1.14 异步 GRPO 在 HF Jobs 间用 LoRA 和 Storage Bucket 替代 NCCL

    TRL v1.14 的 AsyncGRPOTrainer 新增 LoRA 支持,trainer 与 vLLM 分别跑在独立 HF Jobs 上,通过共享 Storage Bucket 目录仅同步几 MB 的 adapter。

    推荐理由:详细展示了 LoRA 异步 GRPO 在跨节点 HF Jobs 上的部署方案与五轮调优路径,并给出 3.9 倍提速的实测数据。

  1. Hugging Face Blog67

    用 Sentence Transformers 训练与微调多向量嵌入模型

    Sentence Transformers v6.0 新增 MultiVectorEncoder 类型,配套教程展示 ColBERT 式多向量检索模型从预训练 checkpoint 微调的完整流程。

    推荐理由:给出在单卡消费级 GPU 上微调 ColBERT 式多向量检索模型的完整配方和实测对比,读者可据此复现并迁移到自己的领域。

已经到底了