python与机器学习 参数优化——交叉验证+网格搜索

模型参数

机器学习中有两种类型的模型参数，分为模型自身参数和超参数

模型自身参数

模型自身参数是由样本数据训练得出的参数。其中涉及到了逻辑回归模型和神经网络模型中的权重和偏置参数的学习。

超参数

超参数构成了模型框架的重要组成部分，在大多数情况下需要人工进行指定设置。例如，在K-means算法中使用的聚类数目k，在神经网络设计中所涉及的层数以及各层节点的数量等参数都需要人工设定以确保模型的有效运行。

调参调的都是k，c这样的超参数。

调整参数

大家都知道，在机器学习中核心任务之一就是优化模型以获得更好的性能。

依靠经验

有经验的人可以根据经验来调整参数。

交叉验证

在执行机器学习的过程中，在完成了对原始数据的划分后 即将建立基于训练集合优化后的预测器并将其应用于待测样本 这一方法能够有效度量预测器的表现质量

基于交叉验证的方法将数据划分为三个互斥的部分：训练集合体（training collective）、验证集合体（validation collective）、测试集合体（test collective）。其中训练集合体主要负责构建学习模型；而验证集合体则用于优化模型选择；测试集合体则被用来评估模型的整体性能。
例如，在教育领域中进行知识掌握评价时，“作业练习”是构建学习基础的关键环节；而在考试