技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
222 条精选近 30 天 196 条共收录 273 条
研究团队推出 Pinal，用自然语言生成蛋白质设计；Hugging Face 等团队发布开放权重模型 Carbon X，可在本地运行并处理 DNA 与英文。Pinal 通过 T2struct 生成结构 token，再由 SAProt-T 补全氨基酸序列；在 GFP 类荧光蛋白测试中，50,000 个候选经筛选后有 29 个在 E. coli 中表达，最终仅 1 个成功发光。
推荐理由：Pinal 与 Carbon X 展示了自然语言进入生物序列设计的不同路径，并用实验成功率、长序列定位和本地运行条件呈现落地限制。
Liquid AI 发布 LFM3 模型家族，六款 2B 级模型共享 LFM3-1.7B-Base 骨干，覆盖文本、视觉、音频、全模态和结构化决策。LFM3-1.7B 比 LFM2.5-2.6B 少 35% 参数，文本模型在 4-bit 精度下约占 1 GB并支持 256K 上下文；LFM3-Omni-2B 可接收文本、图像、视频和音频并输出文本或语音。
推荐理由：LFM3 以同一 2B 级骨干衍生六款文本、视觉、音频、全模态与决策模型，并给出单 GPU 微调和端侧部署路径，便于评估小模型专业化方案。
A-RSI 在学习信号下降时刷新训练任务，并用由程序生成且可独立验证的答案提升模型的递归自我改进效果。方法依据训练日志中的奖励波动与准确率更新任务池，不参考验证集或测试集成绩，也不使用外部训练样本或人工答案标签。在主要十一项基准测试套件中，加入 800 个新任务后，性能平均值从 57.77 提升至 61.05。
推荐理由：论文将任务刷新与答案验证拆分，依据训练日志更新任务池，展示了无外部标签的多模态自我改进方法及基准结果。
研究团队提出 AskStream 多轮基准，用于评估流式视频理解模型在不确定性下主动询问缺失信息的能力。该基准覆盖视频和用户两类不确定性，包含 4 类任务、8 个子任务、438 个视频及 2,714 个人工标注的帧级时间窗口，动作分为等待、提问和回答。在选择题和开放式设置中，最强模型的 Ask-F1 也仅为 52.18%，反映出模型主动寻求信息能力的局限。
推荐理由：AskStream 将流式视频交互拆分为等待、提问和回答三类动作，并用多轮数据呈现模型主动补全信息的关键难点。
IntReal 提出面向真实场景的多模态交错生成数据集与评测套件，用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本，IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。
推荐理由：IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项，配套数据可用于针对性后训练与改进交错生成。
面壁发布 MiniCPM-OCR Jev 的 GPTQ W4A16 量化版，将权重体积从约 4.43 GB 降至约 2.41 GB。该 2B 模型接收区域图像和候选 OCR 结果，输出 0 至 1 的正确性评分，可用于自动筛选、人工复核和多 OCR 结果择优。
推荐理由：材料给出量化前后的权重体积、跨模型 AUROC 对比和部署入口，读者可据此评估 OCR 质量筛选的精度与资源取舍。
MiniCPM-OCR Jev 2B 在 Hugging Face 提供面向 llama.cpp 的 GGUF 构建，可对文本、公式和表格区域评分并返回 0 到 1 的质量分数。仓库提供多个量化文件，Q4_K_M 是 1.274 GB 的最小推荐版本，IQ3_XS 为 1.027 GB；另附 llama-server 启动示例，ctx-size 设为 40960。
推荐理由：原文列出多种 GGUF 量化版本、文件体积与 llama.cpp 启动参数，便于部署者按资源条件选择构建并配置服务。
Google DeepMind 发布 Genie 4 世界模型，可实时生成视觉、动态交互与原生音频，并通过 Gemini 理解提示、维持场景连贯性。Gemini 3.8 Flash 作为引导智能体分解目标、检查画面并动态调整计划，支持多步骤事件与因果行为模拟。
推荐理由：官方披露了 Genie 4 的实时交互、原生音频与 Gemini 引导机制，并明确列出预览范围和当前局限，便于评估其可用边界。
AI 短剧已把短剧生产改造成按爽点模板批量写作、生成与剪辑的流水线，受访从业者则靠大模型工具完成高频交付。编剧阿松用 DeepSeek 和豆包写稿，每月完成四部剧的剧本量；剪辑师乐乐用即梦生成动画、剪映剪辑，阿松底薪 8000 元，乐乐月薪 5000 元且常加班。
推荐理由：文章通过培训师、编剧和剪辑师的一线讲述，拆解 AI 短剧的爽点模板、生产成本、平台分成变化与从业者处境。
SoMark 团队正式开源 OXR 文档解析模型，主模型仅 1.3B 参数，在 OmniDocBench、olmOCR-Bench 和 DocParsingBench 上分别取得 97.18、87.84、87.76 分，均居团队公布评测的第一。
推荐理由：三项基准与同条件速度测试并置，读者可据此评估 OXR 的解析精度、速度表现及与对照产品的相对位置。
OpenAI 发布 GPT-6.1 Terra，标准 API 价格较 GPT-5.6 Terra 减半，主打电脑操作与多软件协同。
推荐理由：官方成绩与网友实测均围绕电脑操作、速度和成本展开，清楚呈现 GPT-6.1 Terra 与上一代及旗舰模型的取舍。
百度文心 Unlimited OCR 2 正式发布并开源，百页级单序列测试中的峰值 KV Cache 占用从 47GB 降至 1.77GB，减少约96%。SR-SWA按需筛选相关页面和视觉信息，无限解码机制通过分块处理、复用边界页缓存并及时释放其余缓存；16路并发端到端吞吐量从360提升至1315 Token/秒，约为标准解码的3.65倍。
推荐理由：文章通过整本书实测与技术报告，拆解SR-SWA和分块解码的降缓存机制，并对比吞吐量、速度与文档解析质量。
StreamVibe 提出面向主动视频交互的研究方案，包含基准、流式视觉语言模型和分层记忆框架，用于理解显式、隐式及持续变化的用户意图。StreamVibe-Bench 包含 4.1K 个评测样本和 85K 个训练样本，覆盖显式、隐式和动态意图。
推荐理由：论文将基准、流式模型与分层记忆框架整合为一套主动视频交互方案，并报告响应时机、答案质量和持续适应方面的量化结果。
OpenAI 发布 GPT-6.1 Terra，API 输入和输出 token 价格分别为每百万 token $1 和 $5，均为 GPT-5.6 Terra 的一半。
推荐理由：文章对照 API 单价、每任务成本和多项基准，呈现了 GPT-6.1 Terra 相对更大模型的价格优势与性能差距。
论文提出 LOWN 解码方法，在无图像预测与上一次图像条件预测一致时跳过图像处理，并用经认证的 token 数量决定该步解掩码数量。该方法无需训练或调节阈值，在 10 个基准上保留 LLaDA-V 得分的 99.6%，平均使用 35.3% 的解码 FLOPs。
推荐理由：论文量化了扩散视觉语言模型重复处理图像的开销，并用证书引导路由在无需训练和阈值调节的条件下削减解码计算。
论文提出 Venus-DefakerOne2 统一反伪造基础模型，通过交替 LoRA 与全参数微调、基于熵的测试适配，扩展对多种伪造形式和媒体类型的检测。
推荐理由：交替 LoRA 与全参数微调结合熵驱动测试适配，为跨图像、视频和物理欺骗的统一取证提供了可复用设计。
端脑科技与 Acrab 近日达成战略合作，双方将协同推进 AI NPC 在个人终端场景落地。端脑科技提供 AI NPC 一体机、智能体软件和终端落地经验，Acrab 提供 AI 芯片、操作系统及工具链。合作重点包括平台适配、硬件集成、多模态模型与 AI 智能体运行优化，以打通从底层芯片到终端应用的完整链路。
推荐理由：双方覆盖 AI 芯片、操作系统、智能体软件到终端集成的协作链条，呈现端侧 AI 落地中的生态分工。
声网在 iRTE2026 展示了生成式 AI 的实时交互基础设施，覆盖模型协作、全双工语音、实时网络、音频处理、工具调用与推理。Agora Conversational Model 组合声音感知、推理、工具、记忆与语音表达，Conversational Agent System 将其与全球实时网络、音频处理及推理基础设施结合。
推荐理由：文章沿着模型、网络、音频和终端梳理实时语音交互链路，便于理解声网多模型协作方案与配套工具如何落地。
岩山科技旗下岩芯矩阵与港科大、CMU联合发布并开源EdgeRock-4B，256K上下文下KV Cache固定为72MiB，较源模型减少99.1%。在单张Hopper 80GB GPU、32K输入和32K输出下，模型支持512路并发，输出吞吐12124 tokens/s，是Qwen3.5-4B的6.42倍。
推荐理由：文章拆解了EdgeRock-4B以RMA固定KV Cache的机制，并对照Qwen3.5-4B及有界状态模型的吞吐、内存与推理表现。
Vivix 公开实时交互模型 W1 和 A1，分别面向理解、交互、生成一体化与角色交互场景。W1 在交互场景中生成下一帧画面需 300-600 毫秒，实时生成成本接近 YouTube 每小时约 0.2 美金的 CDN 带宽成本，比当前头部视频生成模型低 1-2 个数量级。
推荐理由：文章用 300-600 毫秒首帧时间及相对头部视频模型低 1-2 个数量级的成本，解释 Vivix 的实时交互路线。