Hugging Face 政策主管:嵌入式 AI 评估者并非易解方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估者并非易解方案,评估结果的可复现性仍是关键问题,开放权重对此至关重要。她指出,评估是一门仍在演进的科学,不同评测之间难以有意义地比较,且失效速度较快。她还提到,智能体评估难度大、成本高,针对 harness 的评估远少于针对模型的评估。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估者并非易解方案,评估结果的可复现性仍是关键问题,开放权重对此至关重要。她指出,评估是一门仍在演进的科学,不同评测之间难以有意义地比较,且失效速度较快。她还提到,智能体评估难度大、成本高,针对 harness 的评估远少于针对模型的评估。
微软研究院 partner research manager Jennifer Neville 在播客对话中讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
远程办公彻底没戏了 如果你的工作能在屏幕另一端完成,AI 就能做得更好
Introducing Griffin, the first model to pass the video Turing test. 48% of people who talked to it live thought it was a real human. Previous systems have had a pass rate <3%. It is #1 on NVIDIA's benchmark for full-duplex AI video. It’s the first Human Interaction Model (HIM).
Andrej Karpathy 评价 Claude Fable 5 发布,称其与 Mythos 是同一底层模型但增加了安全防护,基准测试全面 SOTA 且领先明显。
Fable 5 is state-of-the-art on nearly all tested benchmarks, with exceptional performance in software engineering, knowledge work, scientific research, and vision. The longer and more complex the task, the larger Fable 5’s lead over our other models.
推荐理由:Karpathy 以第一手使用体验评价 Claude Fable 5 在长任务和复杂问题上的跃升,并给出对软件需求变化的判断。