凸优化笔记 从2017 HIT暑期学校学到的一点内容

说明

为防止遗漏重要内容，特此整理一些简要笔记。因其讲解方式较为形象化，故笔记内容也以类似形式呈现。目前仅记录框架结构：

第一堂

核心思想：多数机器学习相关的任务本质上能够被转化为优化问题，而这类问题通常可以通过梯度下降方法加以解决。

分类问题的优化表示

正则项加入的形象说明

PCA以及Kmeans的优化问题表示

第二堂

投影梯度下降（PGD）

基础知识概述

Bregman divergence

subdifferential

Lipchitz continous

满足Lipchitz连续条件的梯度下降收敛速率的证明

满足smoothness的梯度下降收敛速率证明

第三堂

Bregman divergence对于两个常见函数的具体形式

满足strong convexity且Lipchitz连续的梯度下降收敛速率的证明

满足smoothness和strong convexity的投影梯度下降收敛速率的证明

随机梯度下降收敛速率分析

PPT内容提炼与呈现

第四堂

推荐博客资源汇总