K-Search 扩展 MLX 后端:把 CUDA 内核经验迁移到 Apple Silicon
Berkeley Sky Lab 团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
Berkeley Sky Lab 团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
UC Berkeley 团队提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10,基准测试中推理价格每年下降 9x 至 900x、中位数约 50x。作者据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统、以及由智能体合成的数据系统。
伯克利 AI 研究团队综述并行推理进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。