DeepSeek· @deepseek_ai · X·· 1 天前精选AI 评分72
AI 导读
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，代码已发布在 GitHub。该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟，DeepSeek 称分享生产栈意在帮助社区降低算力成本与能耗。
推荐理由
DeepSeek 公开了支撑自家模型规模化服务的推理框架，读者可据此了解其生产栈的吞吐与延迟取舍。
正文 · 原文
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.
🔗 http://github.com/deepseek-ai/DeepInfer
1/4
来源：DeepSeek · x.com