1. filter过滤函数
df.filter(df.列名==值) 或者 df.filter("列名==值") 中间可以使用(或操作|) (与操作&)
2. union函数
df.union(df1) 可进行行合并的操作,df与df1的列名相同
3. 本地集合求并集
totalset = set1 | set2 set1=set(pandas['列名'])
4. pandas df 选择数据
df.iat[i,0] 选择行为i,列为0的数据
5. pyspark df选择列
df.select("列名1","列名2")
6. 获取系统时间
import datetime
datetime.datetime.now()
7. 筛选包含在一特定list中的数据框中的列数据
df.filter(df.列名.isin(list)) 使用isin函数
8. 修改列名
df.selectExpr("列名1 as 新列名1","列名2 as 新列名2")
9. 修改列名第二种方法
df.select(col("列名1").alias("新列名1"),col("列名2").alias("新列名2"))
10. 数据去重
df.dropDuplicates()
11. 列合并
df.withColumn("新列名",df1.列名)
12. 对列数据进行序号化处理
df.select("列名").distinct().withColumn("新列名",row_number.over(Window.orderBy("列名"))-1) 对列数据进行升序排序后按照(行号-1)进行重新编号
13. 创建临时表进行查询
df.createOrReplaceTempView("表名")
sql =''' select * from 表名'''
sqlContext.sql(sql)