Meta 发布开源权重多模态 MoE 模型 Muse Spark Open
Meta 发布开源权重多模态混合专家(MoE)模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。Meta 称其为“迄今能力最强的美国开源权重模型”,并称经与 Apple 合作,它是同类中首个能在桌面端运行的模型,使用两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio;TechCrunch 引 Engadget 称本地运行至少需要 1 TB 内存。 模型提供 BF16(约 1.5 TB,safetensors 格式)和 NVFP4 两种权重。Hugging Face 博客称 NVFP4 以 4 位精度存储参数、精度损失可忽略,专为 NVIDIA Blackwell GPU 设计;在 transformers 中 BF16 需跨 4 个节点、每节点 8 张 H200 GPU 以 TP=32 运行,NVFP4 可在单个 B200 节点运行。该模型无法关闭推理功能,博客建议处理较简单任务时把推理档位保持在“low”以…
最新进展Meta 发布可在 Mac 上运行的开放权重模型 Muse Spark Open