Python数据分析与特征提取

数据处理过程

一般步骤

• 首先明确需要解决的核心问题，并在此基础上提出初步的解决方案；
• 通过文献调研获取相关领域的研究进展，并筛选出若干可选的技术方案；
• 进一步对这些解决方案进行优化和完善，并最终满足特定的应用需求。

了解数据

• 解析问题时, 首先审视各个变量, 进行初步评估, 筛选出最具代表性的几个进行深入研究.
  • 单一因素考察: 聚焦因变量, 进行细致探究.
  • 多因素关联分析: 考察因变量与其他自变量间的相互作用.
  • 数据清洗: 剔除缺失项并修正异常值.
  • 假设验证: 检验观察数据与多元统计方法的前提假定是否相符.

准备工作

• 变量名：其名称
  • 变量属性：分为数值型或分类型
  • 分类依据：根据属性进行分类
  • 预期效果：预期该指标对自变数的影响水平
  • 研究结果表明该指标与其自变数之间的关系具有显著性

Python数据描述与处理

因变量数据描述

    #绘制直方图
    sns.distplot(df['Dependent variable']);
    
    #数据偏度和峰度
    print("Skewness: %f"%df['Dependent variable'].skew())
    print("Kurtosis: %f"%d