机器学习实践过程(项目实战)

机器学习项目流程概述

机器学习所能达到的性能边界主要由数据及其特征所决定，而模型与算法的作用则在于不断接近这一极限。问题建模、数据获取、特征工程、模型训练、模型调优以及上线运行构成了整个流程。此外，该流程也可划分为三个主要阶段：数据的准备与预处理；模型的选择与训练；模型的验证及参数调整。

特征工程

特征如何处理 ：进行数据清洗、标准化操作，实施特征选择，开展特征扩展，并对特征进行更新等。
数据清洗 ：1.例如年龄这一属性存在空缺值、负数值或超过200岁的不合理数值；2.部分页面的播放次数超出其曝光次数，此类情况属于数据逻辑不合理的范畴。
特征的类型包括：
基本特征 ：空间维度（如种类、数量、金额、尺寸、重量、长度等）；时间维度（如持续时间、发生次数、出现频率、周期性规律）
统计特征 ：比例关系、比率计算、最大值、最小值、均值计算、中位数分析、分位点统计以及异常值识别等
复杂特征 ：时间与空间的结合（如最近两个月内的购物行为频次）；空间与空间的组合（如订单金额超过500元的数量）；时间与空间及统计指标的融合（如最早两个月购物频次在总购物频次中所占的比例）
自然特征 ：图像信息、语音信号、文本内容及网络结构等（例如判断自拍照中是否存在微笑表情）

数据预处理流程设计

数据预处理的