跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

4 条精选近 30 天 3 条共收录 16 条

更新

评测基准的精选

今天10月16日周五第 1–4 条
  1. The Decoder78

    GPT-6-Astra 在 TheoPhysEval 物理基准上解出 50 题中的 49 题,单题成本不到 3 美元

    一项新基准测试让市面可用的 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均单题成本不到 3 美元,整套基准约 116 美元。

    推荐理由:读者可看到智能体在理论物理论文级计算上的实际得分、成本与失败模式,以及作者对科研训练和资源分配的影响判断。

10月15日周四
  1. Google Research60

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google Research 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种配置,并开源两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可了解专用工具与前置规划对空间推理的作用。

10月4日周日
  1. Hugging Face Blog78

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再按终端后端状态和副作用打分,而非看模型生成的句子。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测环境,用后端状态而非模型自述来判定任务是否真正完成。

8月20日周四
  1. Mistral AI69

    Mistral 发布 Agentic Search,用多步检索循环提升文档问答准确率

    Mistral 发布 Agentic Search,一种面向企业复杂文档的多步检索层,通过 search、open、navigate、read、grep 五个工具让模型在索引之上迭代查找并核对证据,已集成进 Mistral Search Toolkit 以及 Studio 和 Vibe 的 Libraries。

    推荐理由:原文给出多步检索循环的五个工具与两组基准数字,可据此判断它相对一次性 RAG 的取舍。