机器学习面试题(一)

1.有监督学习和无监督学习有什么区别？

有监督学习：通过分析带有标签的训练数据，旨在实现对未知数据集的准确分类与预测功能。（LR,SVM,BP,RF,GBDT）
无监督学习：针对未标注的数据集开展训练过程，其核心目标在于揭示数据内部潜在的结构特征与规律。（KMeans,DL）

2.什么是正则化？

为应对过拟合问题，正则化方法被提出。通常情况下，模型的优化目标是使经验风险达到最小值，而正则化则是在这一经验风险中引入了模型复杂度的衡量项（即模型参数向量的范数）。通过设定一个比率参数，对模型复杂度与经验风险进行权重分配。当模型复杂度增加时，其对应的结构化经验风险也将随之上升。因此，当前的目标转变为对结构化经验风险进行最优化处理，从而有效避免模型在训练过程中变得过于复杂，进而降低过拟合的可能性。奥卡姆剃刀原理指出，在能够良好解释已有数据的前提下，结构最为简洁的模型才是最优选择。

3.什么是生成模型和判别模型？

• 生成模型：通过数据学习联合概率分布P(X,Y)，进而推导出条件概率分布P(Y|X)作为预测依据，即生成模型：P(Y|X)= P(X,Y)/ P(X)。（朴素贝叶斯、Kmeans）
  该类模型能够重构联合概率分布p(X,Y)，具备较高的学习效率和较快的收敛速度，同时适用于隐变量的学习任务。

  • 判别模型：直接从数据中学习决策函数Y=