【李宏毅2020 ML/DL】P106 More about Life Long Learning【附源码】

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

1. 本节课 杨舒涵 讲解。
2. 第一部分通过生物现象 `赫布理论 ，引出机器学习相关技术。
3. 接下来，是几个文章的报告，首先是知识蒸馏。
4. 接着是 Memory Aware Synapses: Learning what (not) to forget (MAS) ，第一个无监督的 LLL 方法。
5. 接下来 Learning without Forgetting (LwF) ，第一个把知识蒸馏用在 LLL 的文章。
6. Large Scale Incremental Learning (BiC)，在类别很多时，如何平衡新老任务。
7. Few-Shot Class-Incremental Learning (FSCIL) ，也是为了解决 new/old class imbalance ，其作用在小样本上。以 Neural gas (NG) 取代了知识蒸馏；应用了拓扑学和生理神经相关的 Hebbian learning 作为出发点，提出 TOpology-Preserving knowledge InCrementer (TOPIC) 架构。
8. 最后探讨结论 LLL Nowadays & Future(?) 。目前还是主要用在学术界。

文章目录

• 本节内容综述
• 小细节
• • Outline
  • Hebbian Theory
  • • Long-term Potentiation (LTP)
    • Hebbian Theory
    • Competitive Hebbian Learning
  • Knowledge Distillation
  • • Problem Statement
    • What is "knowledge"?
    • Why knowledge distillation works?
  • Memory Aware Synapses: Learning what (not) to forget (MAS)
  • • Concepts
    • Learned function v.s. Loss
    • Connection to Hebbian Learning
    • Contribution
  • Learning without Forgetting (LwF)
  • • Original Model
    • Fine-tuning
    • Feature Extraction
    • Joint Training
    • Learning without Forgetting
    • • Loss Function
      • LwF Algorithm
  • Large Scale Incremental Learning (BiC)
  • • Hypothesis
    • BiC(Bias correction) Method
    • • Stage 1
      • Stage 2
    • Results
  • Few-Shot Class-Incremental Learning (FSCIL)
  • LLL Nowadays & Future(?)

更多文章请关注《万象专栏》