掌握深度学习 李宏毅课程大纲

Lecture I : Introduction of Deep Learning

• 深度学习概览
• 第一步：定义一组函数
• 第二步：评估函数的优劣
• 第三步：选择最优函数
  • 为何选择深度学习？
  • 深度学习中的"Hello World"

Lecture II : Tips for Training Deep Neural Network

• Deep Learning架构设计
• 选择合适的损失函数
• 小批量训练
• 新型激活函数
• 自适应学习率策略
• 动量项
• 早停法
• 权重衰减技术
• 正则化方法
• 随机丢弃法
• 网络架构设计

Lecture III : Variants of Neural Network

• Convolutional Neural Network(CNN)
• Recurrent Neural Network(RNN)

Lecture IV : Next Wave

• 监督学习
  • 超深度神经网络
  • 注意力机制模型
  • 强化学习
  • 非监督学习
    • 图像：通过分析世界图像数据理解视觉信息
    • 文本：探索词语在不同语境中的意义关联
    • 音频：通过无监督学习方法理解人类语言的本质特征。