文章目录

• 摘要
• 论文翻译
• • 摘要
  • 1、简介
  • 2、算法的符号发现
  • • 2.1、程序搜索空间
    • 2.2、高效搜索技术
    • 2.3、泛化:方案选择与简化
  • 3、Lion的推导与分析
  • • 3.1、求导
    • 3.2、分析
  • 4、Lion评估
  • • 4.1、图像分类
    • 4.2、视觉-语言对比学习
    • 4.3、扩散模型
    • 4.4、语言建模与微调
    • 4.5、与其他流行优化器的比较
    • 4.6、消融
  • 5、超参数调优
  • 6、限制
  • 7、相关工作
  • 8、结论
  • 致谢