跳到正文
#评测/基准
10月21日周三
  2. 爱范儿78

    实测 DeepSeek V4.1 Flash：4 元生成特斯拉飞行 3D 网页

    作者在 DeepSeek Harness 中实测 DeepSeek V4.1 Flash，用纯提示词生成特斯拉飞行 3D 网页，耗时 35 分钟、消耗 3752 万 Token，按缓存命中 0.04 元每百万 Token 和输出 8 元每百万 Token 计算约花 4 元。

    推荐理由：作者用多个实测案例对比 V4.1 Flash 与闭源模型的成本差距，可据此判断低价模型能覆盖哪些任务。

  3. TechCrunch · AI38

    Hugging Face 政策主管：嵌入式 AI 评估者并非易解方案

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估者并非易解方案，评估结果的可复现性仍是关键问题，开放权重对此至关重要。她指出，评估是一门仍在演进的科学，不同评测之间难以有意义地比较，且失效速度较快。她还提到，智能体评估难度大、成本高，针对 harness 的评估远少于针对模型的评估。

  6. elvis38

    推文推荐用决策模型构建 LLM 评测，并称内部评测显示 Jev 这类 System One 模型很适合做 LLM Judge。作者在 Hamel Husain 关于决策模型评测的文章之外，补充了 Jev-as-a-Judge 智能体评测资源与 arXiv 论文，介绍如何结合 System One 与 System Two 模型。

    引用Hamel Husain@HamelHusain

    New blog post 🎉: How To Use Decision Models For Evals In this post, we show you how to choose a decision model for your task, tune its threshold (don't assume the 0.5 default is good!), and interpret its scores. Lots of cool interactive charts here. https://x.com/i/article/2112552453422104576

10月20日周二
  1. Lisan al Gaib50

    哦这太牛了 但考虑到它的效率低了好几倍，我不太会说它击败了 Sol 我想说的是，它击败了 Kimi-K3、GLM-5.3 Flash 和 Grok-4.7，这已经令人印象深刻了

    引用Vals AI@ValsAI

    We found DeepSeek V4.1 Flash 1017 beats GPT 6 Sol on our multi-step offensive cybersecurity task. Sol was tested via the Daybreak trusted access program. We have been building a cybersecurity benchmark based on simulated corporate networks. This is a valuable indicator for the cyber-risk a model poses if in the hands of a bad actor. We plan to make the full evaluation public in the coming weeks but wanted to share our first immediate finding here.

10月19日周一
  1. elvis58

    Nace 发布多模态决策模型 Drex Max，支持文本、图像和视频输入，单次决策耗时 34 ms，262K token 下低于 1 秒，输入价格为 $0.06/1M tokens。该模型可直接从截图、录屏、扫描文档、科学图表和照片中做决策，适合 computer-use 与 browser-use 智能体。Nace 称其在 Mind2Web 上达到 88.3%，超过 Jev 1.14，Decision Index 得分为 67.6（Jev 1.14 为 60.70）。

    引用Nace AI@NaceAI

    Drex Max is here: our multimodal decision model text, images, and video 34 ms/decision, under 1s at 262K tokens $0.06 / 1M input tokens available today at https://nace.ai/drex

10月17日周六
10月15日周四
10月14日周三
  1. Qwen40

    祝贺 @lightseekorg 取得令人印象深刻的 TokenSpeed 成果！🚀 很高兴看到 Qwen3.8-Flash-Next 在 Nvida GPU 上达到每用户 685 output tokens/s。期待社区进一步释放 Qwen 的推理潜力！

    引用LightSeek Foundation@lightseekorg

    685 output tokens/s per user on @Alibaba_Qwen Qwen3.8-Flash-Next. Running TokenSpeed on 4× NVIDIA GB300 with NVFP4. A look at the kernel and serving optimizations behind the results: 👉 https://lightseek.org/blog/tokenspeed-qwen3-8-flash-next.html ⭐ https://github.com/lightseekorg/tokenspeed

  2. Google DeepMind80

    Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案

    Google DeepMind 开始广泛推送 Gemini 4 Argon，并同步发布安全与安全报告，说明其在高风险领域的防护设计。该模型在 12 个端到端模拟网络攻击场景中全部完成，上一代为 5 个；在 Gray Swan 的间接提示注入基准上，15 次自适应攻击的成功率降至 0.7%。

    推荐理由：原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护分层，以及智能体越界行为的监控数据。

10月9日周五
  1. MiniMax (official)40

    在物理方面，谁拥有最好的开源视频世界模型？💫 又是我，MiniMax H3。几乎与闭源 SOTA 持平。🍾

    引用Einsia@EinsiaAI

    We gave 8 SoTA video world models a physics exam. Top score: 57.76 / 100. One revealing result: free-fall video passed the consistency screen. Their average composite score was just 26.61/100. Physics is still undefeated. Today we introduce World Models' Last Exam in Physics — 40 controlled tasks, 9 physical categories, measured against real physical laws. Full breakdown ⬇️ Github: https://github.com/Einsia/phys-last-exam Project: https://lab.einsia.ai/phys-last-exam Paper: https://arxiv.org/pdf/2610.08791

10月7日周三
  1. Microsoft Research28

    微软研究院播客：AI 会犯哪些错，失败又能教我们什么

    微软研究院 partner research manager Jennifer Neville 在播客对话中讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界，以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历，分享使用当前 AI 系统的实用建议，并强调结果偏离预期时应仔细检查数据。

10月5日周一
10月2日周五
9月23日周三
  2. Qwen58

    Qwen 宣布 Qwen-Image-2.1 在 Image Edit 和 Text-to-Image 两个 Arena 中均成为排名第一的开源模型。引用内容显示，该模型在 Image Edit Arena 拿到 1367 分，位列开源第一、总榜第 16，距第 15 名的 GPT-Image-1.5-high-fidelity 差 3 分。Qwen 邀请用户试用并分享创作结果。

    引用Arena.ai@arena

    Qwen-Image-2.1 by @Alibaba_Qwen just landed as the #1 open source model in the Image Edit Arena and Text-to-Image Arena! With 1367 pts in the Image Edit Arena, Qwen-Image-2.1 took the #1 spot among open. It landed #16 overall, just 3 pts from GPT-Image-1.5-high-fidelity at #15. See the leaderboard for the Text-to-Image arena below. Congrats to the @Alibaba_Qwen team on this contribution to the open source ecosystem!

9月6日周日
  1. AI at Meta68

    Meta 称其在 6 月让自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛，任务是微调一个 30B 的 Nemotron 模型，使其推理能力更强。AIRA₃ 在约 4000 支队伍中排名第 8，获得金牌，成绩超过使用同等前沿工具的人类参赛者。Meta 认为这表明 AIRA₃ 能在特定能力上把模型提升到接近人类专家的水平。

    推荐理由：Meta 公开 AIRA₃ 在 Kaggle 微调竞赛中的名次与参赛条件，可据此判断自主研究系统在模型能力改进上的位置。

9月3日周四
8月21日周五
6月10日周三
  1. Andrej Karpathy82

    Andrej Karpathy 评价 Claude Fable 5 发布，称其与 Mythos 是同一底层模型但增加了安全防护，基准测试全面 SOTA 且领先明显。

    引用Claude@claudeai

    Fable 5 is state-of-the-art on nearly all tested benchmarks, with exceptional performance in software engineering, knowledge work, scientific research, and vision. The longer and more complex the task, the larger Fable 5’s lead over our other models.

    推荐理由：Karpathy 以第一手使用体验评价 Claude Fable 5 在长任务和复杂问题上的跃升，并给出对软件需求变化的判断。