跳到正文
4月20日周一
  1. Berkeley AI Research38

    Berkeley AI Research 提出 GRASP:面向世界模型长时程规划的梯度规划器

    Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型状态-输入梯度脆弱等问题,使基于梯度的长时程规划更稳健。

3月28日周六
3月13日周五
  1. Berkeley AI Research34

    Berkeley AI Research 提出 SPEX 与 ProxySPEX:大规模识别 LLM 关键交互

    Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千个特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。

2025年12月1日周一
2025年11月18日周二
2025年10月28日周二
  1. Mira Murati36

    结合RL和SFT的优势,采用同策略蒸馏,这是一种有前景的方法,可用于训练小模型以提升领域表现和持续学习能力。

    引用Thinking Machines@thinkymachines

    Our latest post explores on-policy distillation, a training approach that unites the error-correcting relevance of RL with the reward density of SFT. When training it for math reasoning and as an internal chat assistant, we find that on-policy distillation can outperform other approaches for a fraction of the cost. https://thinkingmachines.ai/blog/on-policy-distillation/