Python数据分析实战：从数据清洗到可视化展示

1. 为什么说数据清洗是数据分析的“脏活累活”？

我刚开始接触数据分析的时候，总觉得那些酷炫的图表、精准的预测才是核心，直到自己真正上手处理一份真实数据，才明白一个残酷的真相：数据分析80%的时间，可能都花在了数据清洗上。这就像你要做一道大餐，结果发现买回来的食材上沾满了泥土，有的还烂了一半，你得先花大量时间择菜、洗菜、切配，最后下锅炒那一下反而最快。数据清洗，就是那个择菜洗菜的“脏活累累活”，但它直接决定了你最终“菜品”的质量。

原始文章里那个销售数据分析案例，其实已经帮我们屏蔽了最头疼的问题——数据源相对规整。一个TXT文件用逗号分隔，一个JSON文件结构清晰。但现实中，你拿到的数据可能是这样的：日期格式五花八门（“2023-01-01”、“2023/1/1”、“01-Jan-2023”），金额里混着中文和美元符号，省份名称有的是简称有的是全称，甚至同一列里数字和文本混在一起。如果不做清洗，直接计算，结果要么报错，要么就是一堆毫无意义的垃圾数字。

所以，我的经验是，拿到数据后的第一步，绝对不是急着写计算逻辑，而是先“望闻问切”。用pandas的head()、info()、describe()方法快速浏览数据概貌，看看有没有缺失值（NaN），看看每列的数据类型对不对，有没有明显的异常值（比如销售额出现负数或天文数字）。这个过程虽然枯燥，但能帮你避开后面90%的坑。很多人觉得清洗无聊，总想跳过，但恰恰是这一步的耐心，决定了你整个分析项目的下限。

2. 从零开始：搭建你的数据分析环境与数据读取

工欲善其事，必先利其器。咱们不用搞得太复杂，一个轻量级的环境就能搞定大部分数据分析任务。

2.1 核心三件套：Pandas、PyEcharts与Jupyter

我强烈推荐新手使用 Anaconda 来管理Python环境，它自带了很多科学计算库，省去了一个个安装的麻烦。安装好后，我们主要用三个库：

• Pandas：数据分析的“瑞士军刀”，数据读取、清洗、计算、聚合全靠它。比原始案例中自己写类去解析文件要高效得多。
• PyEcharts：百度出品的可视化库，图表类型丰富，交互性强，生成HTML文件可以直接在浏览器里查看和操作，比静态图片好用。
• Jupyter Notebook/Lab：这不是一个库，而是一个交互式的编程环境。你可以把代码、文字说明、图表都写在一个“笔记本”里，分段执行，实时看到结果，特别适合做数据探索和分析演示。

安装命令很简单，打开你的终端（Windows叫命令提示符或PowerShell，Mac/Linux叫终端），输入：

pip install pandas pyecharts jupyter

如果速度慢，可以换成国内的镜像源，比如清华的：

pip install pandas pyecharts jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 更优雅的数据读取方式

原始案例中，为了教学面向对象思想，定义了FileReader抽象类和具体的文本、JSON读取类。这很棒，有助于理解设计模式。但在实际快速分析中，用Pandas一两行代码就能搞定，更加简洁高效。

假设我们把那两个数据文件下载到本地，比如放在 D:/data/ 文件夹下。用Pandas读取是这样的：

import pandas as pd

# 读取TXT文件（逗号分隔）
df_txt = pd.read_csv('D:/data/2011年1月销售数据.txt', header=None, names=['date', 'order_id', 'money', 'province'])
print("TXT文件前5行：")
print(df_txt.head())
print("\nTXT文件信息：")
print(df_txt.info())

# 读取JSON文件（每行一个JSON对象）
df_json = pd.read_json('D:/d