遍历文件夹内所有的CSV文件,并且合并为同一个CSV

import pandas as pd
import os
### 读取文件中的数据内容。
os.listdir(u"F:/公司/03_Study/01_爬虫")
Folder_Path = u"F:/公司/03_Study/01_爬虫"  # 要拼接的文件夹及其完整路径,注意不要包含中文
SaveFile_Path =u"F:/公司/03_Study/01_爬虫"  # 拼接后要保存的文件路径
SaveFile_Name = u'all.csv'   # 合并后要保存的文件名
# 将该文件夹下的所有文件名存入一个列表
file_list = os.listdir(u"F:/公司/03_Study/01_爬虫")

# 读取第一个CSV文件并包含表头
df = pd.read_csv(Folder_Path + '\\' + file_list[0])  # 编码默认UTF-8,若乱码自行更改
# 将读取的第一个CSV文件写入合并后的文件保存
df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, index=False)

# 循环遍历列表中各个CSV文件名,并追加到合并后的文件
for i in range(1, len(file_list)):
    df = pd.read_csv(Folder_Path + '\\' + file_list[i])
    df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, index=False, header=False, mode='a+')

#读取全部是数据
all_date = pd.read_csv(u"F:/公司/03_Study/01_爬虫/all.csv")
all_date = all_date[['date','time_v','Award_number']]
all_date.to_csv(u"F:/公司/03_Study/01_爬虫/source_data.csv")

猜你喜欢

转载自blog.csdn.net/Alien_lily/article/details/83537953