Python中批量读取文件，并合并成一个文件，以csv为例

原创

已于 2022-07-19 15:16:22 修改 · 1.9k 阅读

收录于

当前文章被以下社区和专栏收录：

于 2021-05-27 20:33:01 首次发布

该博客介绍了如何使用Python进行数据探索，通过遍历指定路径下的CSV文件，忽略非CSV格式的文件，将多个CSV文件内容整合到一个DataFrame中。首先导入了warnings、pandas和os库，然后设定数据存储路径，利用os.listdir获取所有文件名，通过endswith('.csv')过滤出CSV文件，并用pd.read_csv读取每个文件内容，最后使用pd.concat将所有数据拼接成一个大的DataFrame。

import warnings
warnings.filterwarnings('ignore')
import  pandas as pd
import re
import os

#数据探索
#1 获取所有文件的名称和路径
data_path = './data/'  #数据存储路径     ！！！！！按需修改这里
data_names = os.listdir(data_path)  #列举出data_path里面所有的文件名称
data = pd