数据科学与大数据分析学习笔记-2 数据分析周期

数据分析生命周期解析

• 数据科学小组中不可或缺的七个核心职能
  • 数据分析流程的总体框架
    • • 阶段一：探索阶段
    • 阶段二：数据预处理阶段
    • 阶段三：模型设计阶段
    • 阶段四：模型构建阶段
    • 阶段五：结果传达阶段
    • 阶段六：实际应用部署阶段
    • 四项主要产出成果

数据科学团队的七个关键角色

• 企业业务用户；项目资助方；项目负责人
• 商业数据分析专家
• 数据库系统维护人员
• 数据构建师；数据研究专家
•业务操作人员；项目启动者；项目统筹者
•商业信息分析专员
•数据库管理专员
•数据处理工程师；数据科学研究员

数据分析生命周期概述

• 六个阶段

1. 探索
2. 数据整理（分析测试环境）
3. 模型设计（涉及方法、技术、流程、变量、关联性及模型结构）
4. 模型开发（涵盖训练与测试数据集、相关软件及硬件配置）
5. 结果呈现（明确主要结论）
6. 应用部署（成果交付与试点工程）

Phase 1: Discovery

• Learning the Business Domain
• Resources
• Framing (scoping) the Problem