park初始化和创建atarame的几种方式大葱拌豆腐

Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。

2、Spark on Hive和Hive on Spark

Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。

Hive on Spark：Hive即作为存储又负责sql的解析优化，Spark负责执行。

二、基础概念

1、DataFrame

DataFrame也是一个分布式数据容器。与RDD类似，然而DataFrame更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上 看， DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。

DataFrame的底层封装的是RDD，只不过RDD的泛型是Row类型。

2、SparkSQL的数据源

SparkSQL的数据源可以是JSON类型的字符串，JDBC,Parquent,Hive，HDFS等。

3、SparkSQL底层架构

首先拿到sql后解析一批未被解决的逻辑计划，再经过分析得到分析后的逻辑计划，再经过一批优化规则转换成一批最佳优化的逻辑计划，再经过SparkPlanner的策略转化成一批物理计划，随后经过消费模型转换成一个个的Spark任务执行。

4、谓词下推（predicate Pushdown）

三。创建DataFrame的几种方式

1、读取json格式的文件创建DataFrame

java代码：

scala代码：

2、通过json格式的RDD创建DataFrame

java代码：

scala代码：

3、非json格式的RDD创建DataFrame（重要）

1) 通过反射的方式将非json格式的RDD转换成DataFrame（不建议使用）

1.反序列化时serializable 版本号不一致时会导致不能反序列化。              2.子类中实现了serializable接口，父类中没有实现，父类中的变量不能被序列化,序列化后父类中的变量会得到null。              注意：父类实现serializable接口,子类没有实现serializable接口时，子类可以正常序列化              3.被关键字transient修饰的变量不能被序列化。              4.静态变量不能被序列化，属于类，不属于方法和对象，所以不能被序列化。             另外：一个文件多次writeObject时，如果有相同的对象已经写入文件，那么下次再写入时，只保存第二次写入的引用，读取时，都是第一次保存的对象。

java代码：

scala代码：

结果：

1) 动态创建Schema将非json格式的RDD转换成DataFrame（建议使用）