一，RDD，DataFrame和DataSet
DataFrame参照了Pandas的思想，在RDD基础上增加了schma，能够获取列名资讯。
DataSet在DataFrame基础上进一步增加了资料型别资讯，可以在编译时发现型别错误。
DataFrame可以看成DataSet[Row]，两者的API界面完全相同。
DataFrame和DataSet都支援SQL互动式查询，可以和 Hive无缝衔接。
DataSet只有在Scala语言和Java语言的Spark界面中才支援，在Python和R语言界面只支援DataFrame，不支援DataSet。
二，建立DataFrame
1，通过toDF方法建立
可以将Seq,List或者 RDD转换成DataFrame。
2，通过CreateDataFrame方法动态建立DataFrame
可以通过createDataFrame的方法指定rdd和schema建立DataFrame。
这种方法比较繁琐，但是可以在预先不知道schema和资料型别的情况下在程式码中动态建立DataFrame。
3，通过读取档案建立
可以读取json档案，csv档案，hive资料表或者mysql资料表得到DataFrame。
三，建立DataSet
DataSet主要通过toDS方法从Seq,List或者RDD资料型别转换得到，或者从DataFrame通过as方法转换得到。
1，通过toDS方法建立
可以将Seq,List或者 RDD转换成DataFrame。
2，通过DataFrame的as转换方法得到DataSet
四，RDD，DataFrame和DataSet的相互转换
Spark的RDD，DataFrame和DataSet三种资料结构之间可以相互转换。
五，DataFrame/DataSet储存成档案
可以储存成csv档案，json档案，parquet档案或者储存成hive资料表。
六，DataFrame的API互动
DataFrame和DataSet具有完全相同的API，此处演示DataFrame常用的一些API使用。
1，Action操作
DataFrame的Action操作包括show,count,collect,collectAsList,describe,take,takeAsList,head,first等。
2，类RDD操作
DataFrame支援RDD常用的map,flatMap,filter,reduce,distinct,cache,sample,mapPartitions,foreach,intersect,except等操作。
可以把DataFrame当做资料型别为Row的RDD来进行操作。
3，类Excel操作
可以对DataFrame进行增加列，删除列，重新命名列，排序等操作，去除重复行，去除空行，就跟操作Excel表格一样。
4，类SQL表操作
类SQL表操作包括表查询(select,selectExpr,where,filter),表连线(join,union,unionAll),表分组聚合(groupby,agg,pivot)等操作。
七，DataFrame的SQL互动
将DataFrame/DataSet注册为临时表检视或者全域性表检视后，可以使用sql语句对DataFrame进行互动。
以下为示范程式码。
八，使用者自定义函式
SparkSQL的使用者自定义函式包括二种型别，UDF和UDAF，即普通使用者自定义函式和使用者自定义聚合函式。
其中UDAF由分为弱型别UDAF和强型别UDAF，前者可以在DataFrame，DataSet，以及SQL语句中使用，后者仅可以在DataSet中使用。
1，普通UDF
2，弱型别UDAF
弱型别UDAF需要继承UserDefinedAggregateFunction。
3，强型别UDAF
强型别UDAF需要继承自Aggregator，不可注册。
2小时入门SparkSQL程式设计
