一、本地csv文件读取:
最简单的方法:
import pandas as pd lines = pd.read_csv(file) lines_df = sqlContest.createDataFrame(lines)
或者采用spark直接读为RDD 然后在转换
lines = sc.textFile('file'))如果你的csv文件有标题 的话,需要剔除首行
header = lines.first()#第一行 lines = lines.filter(lambda row:row != header)#删除第一行
此时lines 为RDD。如果需要转换成dataframe:
schema = StructType([StructField('HWMC',StringType(),True),StructField('code',StringType(),True)]) lines_df = sqlContest.createDataFrame(lines,schema)
二、hdfs上的csv文件读取:
1,采用先读为RDD再转换的形式
2,采用sqlContext.read.format(),这个有个前提需要提前做好依赖com.databricks.spark.csv
sqlContext = SQLContext(sc) sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('file')