IBM 发布 Granite Switch 4.1：单一端点支持对话、决策与语音
IBM 发布 Granite Switch 4.1，包含 Granite-Switch-4.1-8B 和 -30B，在单一托管端点内整合对话、通用与专用决策以及语音转文字能力。
推荐理由：Granite Switch 4.1 把决策适配器与 ASR 组合进单一端点，读者可据此了解多能力复用同一 KV cache 的部署思路。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
17 条精选近 30 天 15 条共收录 72 条
更新
部署工程的精选
Hugging Face Blog精选AI 评分6262 NVIDIA Blog精选AI 评分6262 NVIDIA 发布 RTX Spark，面向创作者、玩家与 AI 智能体的 Windows PC
NVIDIA 发布 RTX Spark，定位为一台面向创作者、玩家和 AI 智能体的 Windows PC，并将在全球多地举办发布活动。官方引用 Tom's Hardware、TrustedReviews、Tom's Guide 等媒体评价，称其在本地 AI、游戏和创作工作流中表现良好，Artificial Analysis 的独立测试也提供了早期性能参考。
推荐理由：NVIDIA 官方公布 RTX Spark 面向本地 AI 与创作的定位，并汇总多家媒体实测评价，可据此了解这款 PC 平台的早期口碑。
Microsoft Research精选AI 评分6262 微软研究院发布 Magnetar：基于证明的通用计算 zkVM
微软研究院发布零知识虚拟机 Magnetar，可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行，在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍，证明验证约 12 毫秒。
推荐理由：微软研究院公开 Magnetar 的 zkVM 设计与基准，读者可了解零知识证明在通用程序上的速度与密码学取舍。
Hugging Face Blog精选AI 评分8080 Black Forest Labs 发布 FLUX.3 Image Klein，Diffusers 首日支持
Black Forest Labs 发布 FLUX.3 Image Klein，在 Diffusers 中首日可用，一个模型同时支持文生图、多参考图生图和用边界框控制布局。
推荐理由：FLUX.3 Image Klein 在 Diffusers 首日支持，并给出显存与耗时数据，可据此判断本地部署成本。
NVIDIA Blog精选AI 评分7676 NVIDIA 扩展 Nemotron 家族，发布 Nemotron 3.5 Super VL 与 Bolt 模型
NVIDIA 发布开放 1200 亿参数的 Nemotron 3.5 Super VL，主打多模态智能体任务，官方称其准确率接近自家最大推理模型而参数量约为五分之一，吞吐量最高为同类模型的 5 倍。
推荐理由：NVIDIA 一次放出三款开放权重模型，覆盖从数据中心到端侧的智能体部署，读者可据此判断本地化智能体的选型空间。
AWS Machine Learning Blog精选AI 评分6060 在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体
AWS 博客介绍 SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线，并演示如何用它构建工具调用智能体。
推荐理由：作者用三个可穷举验证的任务实测 Grok 4.7 四档推理强度，给出准确率与 token 成本的取舍方法。
Google Research精选AI 评分7272 Google 发布 Deep Review，用智能体流水线审阅技术文档
Google 公开发布 Deep Review，一个面向复杂文档的智能体审阅系统，最初用于计算机科学论文分析，现已扩展到法律、金融等领域。系统采用四阶段流水线：文档分段、按信息密度自适应分配算力、并行推理智能体分段核查、综合智能体做全局一致性与外部事实校验。
推荐理由：Google 公开了 Deep Review 的四阶段智能体审稿流程与免费额度，可据此判断自动审稿在真实工作流中的位置。
NVIDIA Blog精选AI 评分7878 NVIDIA RTX Spark 上市前公布本地 AI 软件与模型更新
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，并联合生态伙伴在上市前推出面向本地 AI 的软件与模型更新。新内容包括 GitHub Copilot、Hermes、OpenClaw、Perplexity、Pi 和 WorkBuddy 等智能体应用的适配，以及 10 月 15 日发布的 Nemotron 3.5 Bolt 74B 模型。
推荐理由：NVIDIA 在 RTX Spark 笔记本上市前集中公布本地智能体、模型与开发工具的适配清单，可据此判断端侧 AI 生态的落地节奏。
NVIDIA Blog精选AI 评分6262 NVIDIA 在 OCP 全球峰会开放 Vera Rubin 架构并发布多项 AI 工厂合作
NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过开放的 NVIDIA MGX 架构贡献给 OCP，为系统厂商提供构建下一代 AI 工厂基础设施的共同基础。
推荐理由：NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构，读者可据此了解 AI 工厂基础设施的开放路径。
Hugging Face Blog精选AI 评分7474 作者用 ML-intern 两天训出六个模型，总花费约 103 美元
作者在 HuggingChat 中开启 ML-intern，用自然语言描述需求，两天内做出六个模型，包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型，总计算成本约 103 美元。
推荐理由：作者用 ML-intern 在两天内从零训出六个模型，给出了提示词写法、预算控制和成本明细，可迁移到自己的训练流程。
NVIDIA Blog精选AI 评分7474 NVIDIA 与 Microsoft 发布 RTX Spark 及 Windows 智能体基础设施
NVIDIA 与 Microsoft 在旧金山 Windows AI 与 Surface 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件，Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers（MXC）正式可用，让智能体在系统控制下安全持久地在后台运行。
推荐理由：NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出，读者可据此判断本地智能体部署的硬件门槛与生态走向。
GitHub Blog · AI & ML精选AI 评分6262 GitHub 推出基于 ModernBERT 的通用密钥检测模型，扩展 push protection
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器，把 push protection 扩展到无固定格式的密钥，可在 2 毫秒内评估一批候选密钥，官方称可让可拦截的密钥数量增加一倍以上。
推荐理由：GitHub 用九个季度数据说明密钥泄露与开发速度的失衡，并给出把检测前移到 push 环节的模型方案。
Microsoft Research精选AI 评分6060 微软研究院开源 Agent Lightning v1.0：3500 行代码的轻量智能体 RL 框架
微软研究院开源 Agent Lightning v1.0，这是一个约 3500 行代码的轻量智能体强化学习框架，提出 Harnessed Agentic RL 范式，让部署时使用的 agent harness 直接参与训练，无需在训练框架内重新实现智能体。
推荐理由：微软研究院开源 Agent Lightning v1.0，用约 3500 行代码把真实 harness 直接接入强化学习训练，并给出可复现的编码智能体训练结果。
Google Research精选AI 评分6262 Google 发布基于 TEE 的新一代联邦学习系统
Google 发布新一代联邦学习系统，利用可信执行环境（TEE）为数据匿名化提供可远程验证和审计的保证，并已由 Gboard 采用。系统通过访问策略公开透明日志 Rekor、KMS 密钥管理与可复现构建，让外部审计者能核查服务端实际运行的代码；Gboard 已用其上线英语和日语下一词预测模型，训练时间从过去的 1-2 个月大幅缩短，瓶颈转移到服务端 TEE 资源。
推荐理由：Google 公布基于 TEE 的新一代联邦学习系统设计，并给出 Gboard 已上线的实际部署情况，可了解隐私可验证训练的一种工程路径。
Microsoft Research精选AI 评分6262 微软研究院：把机器人推理卸载到边缘或云端可提升任务成功率与续航
微软研究院对移动操作机器人工作负载做了系统性测量，发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU，可提升任务成功率、支持更大模型并延长续航。
推荐理由：微软研究院系统测量了机器人端侧 GPU 推理的瓶颈，并给出把推理卸载到边缘或云端的开源工具链。
Mistral AI精选AI 评分6969 Mistral 发布 Agentic Search，用多步检索循环提升文档问答准确率
Mistral 发布 Agentic Search，一种面向企业复杂文档的多步检索层，通过 search、open、navigate、read、grep 五个工具让模型在索引之上迭代查找并核对证据，已集成进 Mistral Search Toolkit 以及 Studio 和 Vibe 的 Libraries。
推荐理由：原文给出多步检索循环的五个工具与两组基准数字，可据此判断它相对一次性 RAG 的取舍。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
IBM Research 与 UC Berkeley Sky Lab 将 K-Search 进化式内核搜索框架扩展到 MLX，通过结构化的 CUDA-to-MLX 翻译层把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由：原文给出跨平台内核迁移的具体方法与实测数据，读者可据此判断 CUDA 经验能否复用到非 NVIDIA 硬件。