跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

9 条精选近 30 天 9 条共收录 23 条

更新

多模态的精选

今天10月16日周五第 1–9 条
  1. Hugging Face Blog88

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    推荐理由:Meta 开源 816B 多模态 MoE 模型,给出完整部署与微调配方,可据此评估自托管前沿模型的成本与门槛。

  2. Hugging Face Blog62

    Apertus 1.5 发布:8B 与 70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两代模型上新增图像与音频理解、可选思考模式,上下文窗口扩展到 262,144 tokens,为 1.0 的 4 倍,权重以 Apache 2.0 许可发布在 Hugging Face。

    推荐理由:Apertus 1.5 在 8B 和 70B 上加入图像音频理解与思考模式,并公开训练数据与中间检查点,便于对照复现。

  3. NVIDIA Blog76

    NVIDIA 扩展 Nemotron 家族,发布 Nemotron 3.5 Super VL 与 Bolt 模型

    NVIDIA 发布开放 1200 亿参数的 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称其准确率接近自家最大推理模型而参数量约为五分之一,吞吐量最高为同类模型的 5 倍。

    推荐理由:NVIDIA 一次放出三款开放权重模型,覆盖从数据中心到端侧的智能体部署,读者可据此判断本地化智能体的选型空间。

10月14日周三
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,通过 AI Studio、Gemini API、Google Antigravity 及 Gemini 应用和搜索 AI Mode 提供,定价为每百万输入 token 2 美元、输出 token 10 美元,缓存输入享 95% 折扣。

    推荐理由:官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价,可据此判断前沿模型在专业工作流中的落地程度。

10月13日周二
10月7日周三
10月6日周二
  1. Mistral AI81

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态

    Mistral AI 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、520 亿激活参数的原生多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底开放。

    推荐理由:官方给出 1 万亿参数多模态模型的公开预览、权重开放时间与多项基准对比,可据此判断开源权重模型的当前水位。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和影像等多模态数据训练的生物学世界模型,以及连接模型、科学工具、文献和实验人员的交互式编排框架组成。

    推荐理由:微软研究院公开 Quine 的生物学世界模型与工具编排框架,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google DeepMind73

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,使智能体能边听、边看、边说并呈现动态视觉形象。

    推荐理由:官方给出 Live Avatar 的实时音视频耦合、异步工具调用与 97 语言同步能力,可据此判断企业级对话智能体的形态变化。