#评测/基准

Turing Post (Ksenia Se)@TheTuringPost· 09:56AI 评分1818

Turing Post 汇总了本周必读 AI 论文，涵盖 Cortex、Librarian Agents、OpenGCUA、DuoDiscover、WAVE-0 与 ACT3D 模型、Persistent Planar Memory、Mosaic 多会话智能体强化学习等主题。

AK@_akhaliq· 01:20AI 评分3030

OmniCompass 面向全模态视频定位与理解的综合基准 论文：https://huggingface.co/papers/2610.18829

Aran Komatsuzaki@arankomatsuzaki· 22:18AI 评分4545

这个新基准用领域科学家开发的15个开放科学后续问题评估九个前沿智能体，产出135篇研究论文。 大多数论文未通过完整性检查，包括声称的工作与支撑性执行证据之间的不一致。

AK@_akhaliq· 06:52AI 评分2626

旧想法，新问题 基于 LLM 的新颖性评估的不稳定性 论文：https://huggingface.co/papers/2610.02022

GitHub 发布 AI 代码审查开放基准 ReviewBench

GitHub 发布 AI 代码审查开放基准 ReviewBench，包含 219 个来自 187 个开源仓库、覆盖 19 种语言的 PR，分布参照 1.039 亿个 GitHub PR。

Andrej Karpathy@karpathy· 14:35AI 评分2222

很酷的评测。只需问 LLM "陆地还是水域？"，并以文本形式给它一个经纬度坐标。问 16,200 次，绘制成图像。模型知道答案。来自对互联网的压缩。

Qwen@Alibaba_Qwen· 19:37AI 评分5050

千问推出 E-Commerce Bench，用于评测长周期自主商业运营：智能体以 ¥100,000 启动资金经营网店 365 天，需处理选品、议价、定价、促销、库存与现金流。

AI at Meta@AIatMeta· 02:25AI 评分4040

Meta 预览内部评测框架 WildArtifactBench，用于评估智能体在多种交付格式下完成复杂真实任务的能力。该框架不依赖严格的标准答案评分，而是采用人类与智能体偏好评判给出的胜率和 Elo 分数，从而扩大对实际多模态工作流的任务覆盖。Meta 已从中开放 10 个任务，用于衡量多模态智能体的实际实用价值。