自适应并行推理:高效推理扩展的下一个范式
伯克利 AI 研究团队综述并行推理进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。
伯克利 AI 研究团队综述并行推理进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型状态-输入梯度脆弱等问题,使基于梯度的长时程规划更稳健。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千个特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。
Berkeley AI Research 提出一种直接以互信息评估和优化成像系统的框架,无需任务专用解码器。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域预测了系统性能,优化后的设计达到与端到端方法相当的水平,且内存和算力需求更低。方法利用已知噪声物理直接计算噪声项,仅需从测量数据中学习测量分布,并给出真实信息量的上界。
结合RL和SFT的优势,采用同策略蒸馏,这是一种有前景的方法,可用于训练小模型以提升领域表现和持续学习能力。
Our latest post explores on-policy distillation, a training approach that unites the error-correcting relevance of RL with the reward density of SFT. When training it for math reasoning and as an internal chat assistant, we find that on-policy distillation can outperform other approaches for a fraction of the cost. https://thinkingmachines.ai/blog/on-policy-distillation/