data science and big data analysis learning notes: exploratory data analysis

探索性数据分析

• Anscombe’s quartet

  • Dirty Data

  • 单个变量的可视化呈现

  • 多变量的研究分析

  • • 箱线图（box-and-whisker plot）
    • 针对大规模数据集的蜂巢图(hexbinplot for large data)
    • 散点图矩阵（scatterplot matrix）
    • 数据探索与展示的差异

  • 对统计方法的评估——假设检验

  • • 常见的假设检验——均值差异分析
    • 学生t检验（Student’s t-test）
    • 沃尔什t检验（Welch’s t-test）
    • 威尔科xon秩和检验（Wilcoxon Rank-Sum Test）
    • 第一类错误与第二类错误
    • 方差分析（ANOVA, Analysis of Variance）

描述性统计难以清晰揭示变量间的线性关系及分布特征。
通过可视化手段识别数据中的规律与异常情况
–借助可视化的探索性数据分析方法
–可视化技术能够提供简明且全面的数据概览
–可视化是开展初始数据探索的重要组成部分。

在进行数据分析之前，先进行可视化的预处理步骤至关重要！

Anscombe’s quartet数据特征分析

![Anscombe’s qu