Pandas的简单应用

最新推荐文章于 2023-01-24 23:05:23 发布

原创最新推荐文章于 2023-01-24 23:05:23 发布 · 257 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

python

本文介绍了Pandas库的基础知识，包括Series和DataFrame数据结构。通过实例展示了如何从列表和字典创建Series，以及如何操作DataFrame，如选取行、统计分析和透视表。还探讨了读写CSV/Excel文件以及与SQLite数据库的交互。Pandas的强大功能使其成为数据处理和分析的首选工具。

引用

一. 介绍

Pandas 的主要数据结构是 Series （一维数据）与 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。

Series: 一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。
DataFrame: 一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

二. 应用

2.1 Pandas Series

    # list to pandas series
    a = [1, 2, 3]
    my_var = pd.Series(a)
    print(my_var)
    print(my_var[1])

    # dict to pandas series
    sites = {1: "Google", 2: "Runoob", 3: "Wiki"}
    my_var = pd.Series(sites)
    print(my_var)

2.2 Pandas DataFrame

    # create new dataframe
    data = {
        "calories": [420, 380, 390],
        "duration": [50, 40, 45]
    }

    # 数据载入到 DataFrame 对象
    df = pd.DataFrame(data)

    # 返回第一行
    print(df.loc[0])

    # 返回第二行
    print(df.loc[1])

    # 返回第一行和第二行
    print(df.loc[[0, 1]])

    # 统计值
    print(df.describe())

    # 众数
    print(df.mode())

    # 返回行和列数
    print(df.shape[0])
    print(df.shape[1])

    # 频率统计
    print(df.value_counts())
    print(df.value_counts(normalize=True))

    # 获取最大，最小值的id
    print(df["duration"].idxmax())
    print(df["duration"].idxmin())

    # 筛选特定条件的列数据及统计
    print(df[df.duration == 40])
    print(df[df.duration == 40]["calories"].describe())

2.3 透视表

透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。

    print(pd.pivot_table(df, index=['duration']))
    print(pd.pivot_table(df, index=['duration'], aggfunc=[np.sum, len], fill_value=0, margins=True))

三. pandas and CSV/Excel

    # 三个字段 name, site, age
    nme = ["Google", "Runoob", "Taobao", "Wiki"]
    st = ["www.google.com", "www.runoob.com", "www.taobao.com", "www.wikipedia.org"]
    ag = [90, 40, 80, 98]

    # 字典
    dict = {'name': nme, 'site': st, 'age': ag}

    df = pd.DataFrame(dict)

    # 保存 dataframe
    df.to_csv('site.csv')

    df = pd.read_csv('site.csv')

    print(df.head())
    print(df.tail())
    print(df.info())


    # excel
    # Returns a DataFrame
    pd.read_excel("path_to_file.xls", sheet_name="Sheet1")

    # ExcelFile class
    xlsx = pd.ExcelFile("path_to_file.xls")
    df = pd.read_excel(xlsx, "Sheet1")

    with pd.ExcelFile("path_to_file.xls") as xls:
        df1 = pd.read_excel(xls, "Sheet1")
        df2 = pd.read_excel(xls, "Sheet2")

    # writing Excel files
    df.to_excel("path_to_file.xlsx", sheet_name="Sheet1")