数据挖掘的数据变换
发布时间
阅读量:
阅读量
数据转换:
1、数据转换在数据分析过程中的作用:
实现多来源数据向统一目标数据库的整合;
2、数据转换所处的阶段:
3、数据转换的实现方式:
- 数据平滑:消除数据中的干扰项,实现连续型数据向离散型数据的转变。此过程中可运用分箱处理、聚类分析以及回归分析等手段完成平滑操作,后续将对聚类和回归两种算法进行详细讲解;
- 数据汇总:对原始信息进行集中处理,在 SQL 中提供多种汇总函数供我们使用,例如 Max() 可获取某字段的最大值,Sum() 可计算某字段的总和;
- 数据概化:将低层次概念的数据提升至高层次概念层面,从而降低整体复杂程度。具体而言,即用更高层级的概念替代较低层级的概念。例如上海、杭州、深圳、北京等城市名称可以被概化为“中国”这一更高层次的概念;
- 数据标准化:通过比例缩放的方式调整属性数值,使其映射至一个特定区间内。常用的方法包括最小—最大标准化、Z—score 标准化以及按小数定标标准化等,相关内容将在后续部分进行详细介绍;
- 属性生成:创建新的属性并将其纳入原有属性集合中。该过程涉及特征工程的相关知识,因为通过已有属性之间的组合生成新属性本质上就是特征工程的一部分。例如,在记录个人英语、语文和数学成绩的数据表中,可以构造出“总分”这一新属性,并将其用于后续的数据挖掘任务中。
其中应用最为广泛的是数据标准化方法,主要包括
全部评论 (0)
还没有任何评论哟~
