版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xinlangtianxia/article/details/55513110
2016年12月28日发布
此版本更改
默认scala版本是Scala 2.11
官网看到
Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.0uses Scala 2.11. You will need to use a compatible Scala version(2.11.x).
Spark 2.1.0uses Scala 2.11.x（没有＋这个符号，高了低了都无法使用）,官网是这么写的.笔者本人也没有试过.(有人试过给笔者留言)
,这个版本更关注于可用性,稳定性
更新：
数据类型的api是稳定的api；
rom_json和to_json解析JSON字符串列；
当创建PySpark DataFrame,Python字典可以用作StructType的值；
可伸缩的分区处理；
Kafka 0.10 support in Structured Streaming；
Locality Sensitive Hashing（hash的api有些更新）；