DataFrame和Dataset的概述

目录

• • 一、Spark SQL概述

• 二、DataFrames与DataSets

• • • DataFrames： Spark DataFrames 是一种支持高效数据操作的数据模型，在分布式计算环境中提供灵活的数据管理功能。
    • 比较RDDs： Spark DataFrames 和 Spark RDDs（Resilient Distributed Datasets）在数据处理机制上有显著区别。
    • DataSets： Spark DataSets 是一种专为分布式存储设计的数据集合类型，在保持简单的同时支持复杂的查询操作。
    • 静态类型与动态类型的安全性： Spark支持两种类型的处理机制——静态类型保证数据完整性但可能限制灵活性；动态类型则提供了更高的灵活性但增加了潜在风险。
    • 无类型和有类型的比较： 在Spark中，默认情况下数据集是无类型的；而通过显式定义可以实现有类型的管理以提高系统安全性。

• 第三章 数据框、数据集与RDDs总结

  • 第4章 Spark SQL运行原理
  • • 4.1 逻辑计划（Logical Plan）
    • 4.2 物理计划（Physical Plan）
    • 4.3 执行流程

一、Spark S