Berkeley AI Research 提出基于信息量的成像系统设计框架
Berkeley AI Research 提出一种直接以互信息评估和优化成像系统的框架，无需任务专用解码器。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域预测了系统性能，优化后的设计达到与端到端方法相当的水平，且内存和算力需求更低。方法利用已知噪声物理直接计算噪声项，仅需从测量数据中学习测量分布，并给出真实信息量的上界。
全部 AI 动态
Berkeley AI ResearchAI 评分3838
Mira Murati@miramuratiAI 评分3636结合RL和SFT的优势，采用同策略蒸馏，这是一种有前景的方法，可用于训练小模型以提升领域表现和持续学习能力。
引用Thinking Machines@thinkymachinesOur latest post explores on-policy distillation, a training approach that unites the error-correcting relevance of RL with the reward density of SFT. When training it for math reasoning and as an internal chat assistant, we find that on-policy distillation can outperform other approaches for a fraction of the cost. https://thinkingmachines.ai/blog/on-policy-distillation/