【李宏毅2020 ML/DL】补充：Meta Learning - Gradient Descent as LSTM【附源码】

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

本次笔记补充视频 BV1JE411g7XF 的缺失部分。上节课李老师讲了元学习中的参数初始化方法：MAML 与 Reptile 。本节课内容为 Gradient Descent as LSTM 。在 B 站搜索 meta 与 lstm 即可找到视频。本节内容 30 分钟左右。

注意：本节讨论的是“元学习”，我们将讨论用 LSTM 做优化器的方法。我们所指的训练，是指训练优化器 LSTM 的参数。

1. 我们可以把元学习的过程，当然 RNN 来看。首先复习 RNN 。多数时候，我们说 RNN ，其实就是在用 LSTM 。
2. 比较 LSTM 中的运算与 meta-learning 中的更新式，会发现有一些相似之处。
3. 在实际操作中，我们做了非常大的简化。
4. 此外，我们很久以前介绍过一些优化方法，如 RMSProp 、Momentum ，是需要过去的梯度来确定现在的梯度的。因此，可以根据这个为 LSTM 做些改进。

文章目录

• 本节内容综述
• 小细节
• • • 引入 RNN
    • Recurrent Neural Network
    • Similar to gradient descent based algorithm
    • LSTM for Gradient Descent
    • Real Implementation
    • Experimental Results
    • About Previous Gradients
    • • Experimental Results

更多文章请关注《万象专栏》