跳到正文
10月21日周三
  1. TechCrunch · AI38

    Hugging Face 政策主管:嵌入式 AI 评估者并非易解方案

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估者并非易解方案,评估结果的可复现性仍是关键问题,开放权重对此至关重要。她指出,评估是一门仍在演进的科学,不同评测之间难以有意义地比较,且失效速度较快。她还提到,智能体评估难度大、成本高,针对 harness 的评估远少于针对模型的评估。

10月7日周三
  1. Microsoft Research28

    微软研究院播客:AI 会犯哪些错,失败又能教我们什么

    微软研究院 partner research manager Jennifer Neville 在播客对话中讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。

10月2日周五
6月10日周三
  1. Andrej Karpathy82

    Andrej Karpathy 评价 Claude Fable 5 发布,称其与 Mythos 是同一底层模型但增加了安全防护,基准测试全面 SOTA 且领先明显。

    引用Claude@claudeai

    Fable 5 is state-of-the-art on nearly all tested benchmarks, with exceptional performance in software engineering, knowledge work, scientific research, and vision. The longer and more complex the task, the larger Fable 5’s lead over our other models.

    推荐理由:Karpathy 以第一手使用体验评价 Claude Fable 5 在长任务和复杂问题上的跃升,并给出对软件需求变化的判断。