DeepSeek 开源生产推理栈 DeepInfer,披露单集群 155T tokens/天与单卡每小时 38 美元收入
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群每天处理 155 万亿 tokens、96% 输入缓存命中、单卡每小时 38 美元收入等生产数据。
推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此对照 vLLM 复现结果判断其可迁移性。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
12 条精选近 30 天 5 条共收录 33 条
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群每天处理 155 万亿 tokens、96% 输入缓存命中、单卡每小时 38 美元收入等生产数据。
推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此对照 vLLM 复现结果判断其可迁移性。
钛媒体作者分析DeepSeek于10月20日开源的推理框架DeepInfer,华为昇腾950系列NPU与英伟达SM100同时进入支持名单,来自同一代码树,仅通过一个环境变量即可在两类硬件间切换。
推荐理由:从推理框架对等支持两类芯片切入,梳理国产芯片在推理时代角色变化的依据与尚未验证之处。
作者在 DeepSeek Harness 中实测 DeepSeek V4.1 Flash,用纯提示词生成特斯拉飞行 3D 网页,耗时 35 分钟、消耗 3752 万 Token,按缓存命中 0.04 元每百万 Token 和输出 8 元每百万 Token 计算约花 4 元。
推荐理由:作者用多个实测案例对比 V4.1 Flash 与闭源模型的成本差距,可据此判断低价模型能覆盖哪些任务。
推荐理由:DeepSeek 公开了支撑自家模型规模化服务的推理框架,读者可据此了解其生产栈的吞吐与延迟取舍。
推荐理由:官方给出新版本在基准表现、任务完成速度和输出长度上的变化,并说明已上线网站、App 与 API。
DeepSeek 发布 DeepSeek-V4.1-Flash,称其为新架构家族中参数规模最小的模型,并原生支持视觉理解。官方表示该模型面向更强能力、更快推理和更高吞吐设计,并可扩展至更大模型。
推荐理由:DeepSeek 新架构家族的最小模型,原生支持视觉理解,并强调推理速度与吞吐。
DeepSeek 在 API 平台上线实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp,调用时使用 model='deepseek-v4-flash-vision-exp'。
推荐理由:官方给出新模型与 V4-Flash 的文本能力对照,以及多模态智能体基准上的提升幅度,便于判断是否值得接入。
推荐理由:官方给出 Harness 的插件化架构与 MIT 开源仓库,读者可据此判断它能否接入现有智能体工作流。
推荐理由:官方给出 V4-Pro 的 Agent 能力升级、三档推理强度和 Codex 接入方式,可据此判断实际使用成本与场景。
推荐理由:官方公布 V4-Flash API 公测,并给出 Agent 能力提升与 Codex 适配的配置入口。
推荐理由:DeepSeek 官方公布 V4 两个版本的参数规模与 1M 上下文,可据此判断开源模型在长上下文上的成本位置。
推荐理由:官方给出两个版本的定位差异与开放渠道,可据此判断面向智能体的推理模型如何分层落地。