Pandas进行json_normalize多层嵌套Json数据展平
在当今数据驱动的世界中，处理大规模和复杂数据的能力至关重要。尤其是面临从API、日志文件、数据流等来源获取的多层嵌套JSON格式数据时，如何快速高效地提取和展平这些数据成为了关键技能。Pandas库中的json_normalize方法提供了一种强大的方式，能够将这些嵌套结构转换为更具可操作性的数据框格式，使得数据分析和处理变得更加简便。
本文将深入探讨如何使用json_normalize展平多层嵌套的JSON数据，结合实际案例展示这一方法在数据处理中的具体应用。通过学习这些内容，读者将能更加熟练地处理复杂JSON格式的数据，提高数据处理的效率。
文章目录
- json_normalize 嵌套展平
- 总结
json_normalize 嵌套展平
在实际应用中，JSON 数据往往包含嵌套的结构（如嵌套的字典、列表）。json_normalize() 函数允许用户通过指定不同的路径和参数来解开这些嵌套，使数据在表格中呈现为扁平化形式。可以通过调整参数来处理不同的嵌套层次、键名合并、错误处理等。
| 参数 | 说明 | 默认值 |
|---|---|---|
data | 需要被扁平化的 JSON 或嵌套的列表、字典 | 必须参数 |
record_path | 指定嵌套字段的路径，以展开特定的嵌套记录 | None |
meta | 指定除了 record_path 之外需要保留的元数据字段 | None |
meta_prefix | 为 meta 字段添加前缀，以避免字段名冲突 | None |
errors | 定义错误处理方式，可以选择 ignore 或 raise | raise |
sep | 用于连接嵌套字段的分隔符 | . (点号) |
max_level | 展开的最大嵌套层次，如果不设置则展开所有层级 | None |
json_normalize() 是处理嵌套 JSON 数据的利器，它能够将复杂的嵌套结构数据（如字典、列表等）解开并扁平化为适合进行数据分析的 DataFrame 结构。其灵活的参数配置，如 record_path 和 meta，允许用户精确控制如何解开数据，以及在解开时保留哪些元数据信息。同时，sep 参数可以自定义字段的分隔符，避免字段名冲突，保证输出的 DataFrame 在结构上易于理解和操作。
通过这种方式，用户可以轻松处理复杂的 JSON 数据，从而简化数据清理和转换工作，显著提高数据分析效率。
基本操作
展平JSON的关键点在于如何处理嵌套的字段。通常来说，JSON的键可以是一个单一的值，也可以是包含其他对象的嵌套结构，而json_normalize可以通过递归方式展平这些嵌套的数据。它允许指定哪些字段应该被展平，哪些字段保持嵌套的原始状态。这为灵活地处理复杂的JSON数据提供了极大的便利。
import pandas as pd
import json# 定义一个嵌套的JSON结构
data = {"school": "Data Science Academy","students": [{"name": "Alice", "age": 23, "courses": {"python": "A", "math": "B"}},{"name": "Bob", "age": 24, "courses": {"python": "B", "math": "A"}},]
}# 使用json_normalize展平数据
df = pd.json_normalize(data['students'])
print(df)
代码中data是一个包含学校信息和学生信息的嵌套JSON结构。通过json_normalize对**data[‘students’]**进行展平操作，可以将学生的姓名、年龄以及课程成绩展平为一个DataFrame。每个学生的嵌套课程信息也被展平为单独的列。展平后的数据结构能够更加便捷地进行分析和操作。
应用示例
展平嵌套的JSON结构
在处理复杂的JSON数据时，特别是包含多层嵌套的对象和数组，通常会遇到如何将数据展平成结构化形式以便分析的问题。例如，您可能需要处理包含多个项目、员工及其任务信息的嵌套JSON结构，并将这些信息转化为平坦的表格形式，以便使用pandas DataFrame进行分析和操作。
import pandas as pd# 深层嵌套的JSON结构
data = {"department": "Engineering","projects": [{"name": "Project A","employees": [{"name": "John", "role": "Lead", "tasks": {"coding": "Python", "testing": "Unit Test"}},{"name": "Jane", "role": "Developer", "tasks": {"coding": "Java", "testing": "Integration Test"}},]},{"name": "Project B","employees": [{"name": "Jim", "role": "Tester", "tasks": {"coding": "N/A", "testing": "Manual Test"}},]}]
}# 使用json_normalize展平数据
df = pd.json_normalize(data, record_path=['projects', 'employees'], meta=['department', ['projects', 'name']])
print(df)
在该示例中使用了pandas库中的json_normalize方法，展示了如何将一个包含多层嵌套的JSON结构展平为一个结构化的表格形式。数据data描述了一个工程部门，包含多个项目，每个项目中有员工的信息。每个员工包含姓名、角色以及任务信息（如编码语言和测试方法）。
json_normalize函数通过record_path参数指定要展平的部分，即projects下的employees，从而将员工信息逐行展平。meta参数用于保留顶层的元数据，如department和项目的名称（通过路径['projects', 'name']指定）。生成的DataFrame以清晰的二维表格形式展示了各项目中的员工信息，并保留了相关的部门和项目名称信息。这种展平后的数据便于在分析和进一步操作中使用，避免了复杂的嵌套结构。
嵌套JSON数据实现项目管理数据分析
在现实世界中，企业在使用项目管理工具时，常常需要通过API获取多个项目及其相关成员的详细信息。这些信息通常以嵌套的JSON格式返回，包含项目及其成员的复杂层级结构数据。为了更好地进行数据分析，例如人员分配、任务管理和项目进展等，企业需要将这些嵌套的JSON数据展平为表格结构，便于后续的分析和汇总。
import pandas as pd
from pandas import json_normalize# 假设从API获取的嵌套JSON数据
data = {"projects": [{"project_id": 1,"project_name": "Project A","members": [{"name": "Alice", "role": "Developer", "tasks": ["Task 1", "Task 2"]},{"name": "Bob", "role": "Designer", "tasks": ["Task 3"]}]},{"project_id": 2,"project_name": "Project B","members": [{"name": "Charlie", "role": "Manager", "tasks": ["Task 4", "Task 5", "Task 6"]},{"name": "David", "role": "Developer", "tasks": ["Task 7"]}]}]
}# 使用json_normalize展平嵌套的JSON数据
df = json_normalize(data['projects'],record_path='members',meta=['project_id', 'project_name'],errors='ignore'
)# 展示展平后的数据框
print(df)
在此示例中，API返回了嵌套的JSON数据，包含多个项目的详细信息以及每个项目中的成员及其任务。为了将这些复杂的嵌套结构转换为便于操作的数据表格，使用了pandas库中的json_normalize函数。该函数通过设定嵌套路径members来展平项目成员的信息，并保留项目ID和项目名称等元数据。展平后的数据以表格形式展示，便于进行进一步的分析操作，如数据透视表、任务汇总和成员分配的可视化等。这种方法能够有效处理复杂的JSON数据结构，使得数据分析更为便捷。
处理嵌套和缺失数据
在现代数据科学和业务分析中，数据集的来源通常多样化且不受完全控制，尤其是从外部系统导入或通过API获取的数据。在这种情况下，数据往往以嵌套的JSON格式呈现，且其中可能包含大量缺失值。以客户关系管理（CRM）系统为例，分析师导出的客户数据中经常存在部分字段缺失或以嵌套格式存储的问题，这些都会影响数据处理和分析结果的准确性。因此，需要一种高效的方法来展平这些嵌套数据并处理缺失值，以确保数据的一致性和分析的可行性。
import pandas as pd
from pandas import json_normalize
import numpy as np# 示例嵌套JSON数据，包含缺失值
data = [{"name": "John Doe", "contact": {"email": "john@example.com", "phone": None}, "address": None},{"name": "Jane Smith", "contact": {"email": None, "phone": "123-456-7890"}, "address": "123 Main St"},{"name": "Sam Johnson", "contact": {"email": "sam@example.com", "phone": "987-654-3210"}, "address": None},
]# 使用 json_normalize 展平数据
df = json_normalize(data, sep='_')# 填充缺失值
df.fillna({'contact_email': 'email@unknown.com', # 填充缺失的电子邮件'contact_phone': '000-000-0000', # 填充缺失的电话'address': 'Unknown Address' # 填充缺失的地址
}, inplace=True)# 显示处理后的数据
print(df)
在这一案例中，使用了Pandas库中的json_normalize方法来展平嵌套的JSON数据。数据集中包含客户的基本信息，但其中某些字段（如联系方式和地址）可能缺失。通过json_normalize函数，原本嵌套的JSON结构被转换为平面的结构化数据框。接下来，利用fillna方法针对特定字段填充缺失值。最终结果是一个完整的、无缺失值的数据集，这样可以确保数据分析的连续性和准确性。
总结
Pandas的json_normalize是处理复杂嵌套JSON数据的利器，特别适合用于将API返回的多层嵌套结构转化为平面结构，方便进一步分析。通过合理运用json_normalize中的各种参数，可以灵活处理多层嵌套的字段，同时在展平过程中可以结合Pandas的其他方法处理缺失值和异常数据。无论是在数据分析还是数据科学的工作流程中，这项技能都能显著提高数据处理的效率和准确性。
通过本文的学习，相信能够更好地理解如何使用json_normalize展平嵌套的JSON数据，并将其应用到实际项目中，处理复杂的数据结构不再是难题。