昊梵体育网

针对Explorative Modeling的早停优化 尝试了Explorati

针对Explorative Modeling的早停优化
尝试了Explorative Modeling训练后,虽然确实存在各种方面的提升,但是存在随着K值上升,我们需要的compute也随着增加
为了减少计算,加入全局分桶min值
在某个分桶内找到接近最低值的解后停止探索
从而减少不必要的算力浪费

还没有进行过实际的验证,该方法由deepseek v4 flash提出,我一开始提出的是gap值计算,被否了(果然dsv4flash比我更懂

可能评论区还有更好的方法,可以交流一下

AIGC 文生图 lora训练 深度学习 扩散模型