python -- 批量解析dataframe中的json串并形成新的字段

最新推荐文章于 2025-04-02 17:45:54 发布

原创

最新推荐文章于 2025-04-02 17:45:54 发布 · 1w 阅读

收录于

当前文章被以下社区和专栏收录：

本文介绍如何使用Python高效地解析DataFrame中存储为JSON格式的列，并形成新的字段。通过自编函数，实现了将JSON串转换处理，适用于大规模数据（如100万行，40个字段）的操作，大约耗时10分钟。

最近遇到了类似这样的问题：批量解析数据库中某张表的某一列（json串形式存储），效果如下。

为此，我编写了如下的python脚本

def main(table_source,var_name):
    """
    【批量解析json串】
    入参：
        table_source：含义：来自数据库的库名.表名，
                      格式：字符串，
                      例如：'bestbuy_decision.streaming_target_info'
        var_name：含义：需要解析的字段
                  格式：字符串
                  例如：'data'
    
    使用范例：
        data = main(table_source,var_name)
    """
    sql_command = "SELECT * FROM  "+ str(table_source)
    dat

标签