当前位置： 首页 > news >正文

大模型推理后JSON数据后处理

news 来源：原创 2025/5/3 18:01:35

大模型推理后JSON数据后处理

flyfish
LLM 通常指的是 Large Language Model，也就是大语言模型，针对 JSON格式的输出，可以在大模型推理前、推理中、推理后进行处理，这里是在推理后进行处理。
针对模型输出结果，可采用结构化后处理流程对 JSON 进行格式校验与修复，确保生成结果符合数据交互规范。

json_repair 是一个用于修复格式错误的 JSON 字符串的 Python 库

1. 安装 json_repair

在使用之前，你需要先安装这个库，可以使用 pip 进行安装：

pip install json-repair

2. 基本用法：修复简单的格式错误

from json_repair import json_repair

# 包含简单格式错误的 JSON 字符串（缺少引号）
broken_json = "{name: 'John', age: 30}"
try:
    repaired_json = json_repair(broken_json)
    print("修复后的 JSON 字符串:", repaired_json)
except Exception as e:
    print(f"修复出错: {e}")

在这个例子中，输入的 JSON 字符串缺少引号，json_repair 会尝试修复这些错误并返回一个格式正确的 JSON 字符串。

3. 处理包含注释的 JSON

from json_repair import json_repair

# 包含 JavaScript 风格注释的 JSON 字符串
broken_json = '{/* 这是一个注释 */ "name": "John", "age": 30}'
try:
    repaired_json = json_repair(broken_json)
    print("修复后的 JSON 字符串:", repaired_json)
except Exception as e:
    print(f"修复出错: {e}")

json_repair 可以处理包含注释的 JSON 字符串，会自动移除注释并修复格式。

4. 修复多余逗号的问题

from json_repair import json_repair

# 包含多余逗号的 JSON 字符串
broken_json = '{"name": "John", "age": 30,}'
try:
    repaired_json = json_repair(broken_json)
    print("修复后的 JSON 字符串:", repaired_json)
except Exception as e:
    print(f"修复出错: {e}")

JSON 标准中对象或数组末尾的多余逗号是不允许的，json_repair 会自动移除这些多余的逗号。

5. 修复嵌套结构的 JSON 错误

from json_repair import json_repair

# 嵌套结构中存在格式错误的 JSON 字符串
broken_json = '{"person": {name: "John", age: 30}}'
try:
    repaired_json = json_repair(broken_json)
    print("修复后的 JSON 字符串:", repaired_json)
except Exception as e:
    print(f"修复出错: {e}")

即使是嵌套结构的 JSON 字符串，json_repair 也能尝试修复其中的格式错误。

6. 直接解析修复后的 JSON 为 Python 对象

import json
from json_repair import json_repair

# 格式错误的 JSON 字符串
broken_json = "{name: 'John', age: 30}"
try:
    repaired_json = json_repair(broken_json)
    # 将修复后的 JSON 字符串解析为 Python 对象
    data = json.loads(repaired_json)
    print("解析后的 Python 对象:", data)
except Exception as e:
    print(f"出错: {e}")

在修复 JSON 字符串后，可以使用 json.loads 将其解析为 Python 对象进行后续处理。

7. 使用 json_repair.loads 直接解析并修复

from json_repair import loads

# 格式错误的 JSON 字符串
broken_json = "{name: 'John', age: 30}"
try:
    # 直接解析并修复
    data = loads(broken_json)
    print("解析后的 Python 对象:", data)
except Exception as e:
    print(f"出错: {e}")

json_repair.loads 结合了修复和解析的功能，直接将格式错误的 JSON 字符串解析为 Python 对象。

8. 从文件中读取并修复 JSON

import json_repair

# 假设文件 example.json 中包含格式错误的 JSON
file_path = "example.json"
try:
    with open(file_path, 'r', encoding='utf-8') as file:
        broken_json = file.read()
        # 修复并解析文件中的 JSON
        data = json_repair.loads(broken_json)
        print("解析后的 Python 对象:", data)
except Exception as e:
    print(f"出错: {e}")

借助 json 和 json_repair 库实现了对 JSON 数据的修复、转换和验证功能

正确的JSON格式

[
    {
        "活动名称": "旋转木马",
        "游玩体验": "孩子们玩得非常开心！",
        "是否推荐": "超级推荐"
    },
    {
        "活动名称": "彩虹滑梯",
        "游玩体验": "像在云朵上飞翔一样！",
        "是否推荐": "推荐"
    }
]

  • 功能概述：该函数接收一个 JSON 字符串作为输入，尝试将其转换为特定的快乐游乐园数据格式。

  • 具体步骤：

    1. 使用 json.loads 将输入的 JSON 字符串解析为 Python 对象。
    2. 定义内部递归函数 find_fun_entries 来遍历 Python 对象：
      • 若当前对象是字典，检查是否包含 "活动名称"、"游玩体验" 和 "是否推荐" 这三个键，如果包含则将该字典添加到 happy_list 中。
      • 若当前对象是列表，则递归调用 find_fun_entries 处理列表中的每个元素。
    3. 使用 json.dumps 将 happy_list 转换为格式化的 JSON 字符串并返回。
    4. 若解析过程中出现 JSONDecodeError，则返回错误提示信息。

  • 定义了三个测试用例：

    • amusement_park_json：有效但结构较复杂的 JSON 数据，需要提取特定条目。
    • broken_happy_json：包含格式错误的 JSON 数据，需要先修复再处理。
    • perfect_happy_json：已经符合目标格式的 JSON 数据，用于验证转换函数的正确性。

执行测试

  • 测试 1：使用 json_repair.loads 直接修复破损的 JSON 数据，并打印修复后的结果。
  • 测试 2：调用 convert_to_happy_format 函数处理有效但需要优化的 JSON 数据，打印转换后的结果。
  • 测试 3：先使用 json_repair.repair_json 修复破损的 JSON 数据并返回 Python 对象，再将其转换为 JSON 字符串后调用 convert_to_happy_format 函数进行处理，打印最终结果。
  • 测试 4：对已经符合目标格式的 JSON 数据调用 convert_to_happy_format 函数进行验证，打印结果。
import json
import json_repair

def convert_to_happy_format(json_str):
    """
    转换JSON到快乐游乐园数据格式：
    1. 提取包含"活动名称"、"游玩体验"、"是否推荐"的条目
    2. 自动优化游玩体验描述的感叹号
    """
    try:
        data = json.loads(json_str)
        happy_list = []

        def find_fun_entries(obj):
            if isinstance(obj, dict):
                # 检测快乐活动条目
                if all(key in obj for key in ["活动名称", "游玩体验", "是否推荐"]):
                    happy_list.append(obj)
                # 快乐地探索数据
                for value in obj.values():
                    find_fun_entries(value)
            elif isinstance(obj, list):
                for ride in obj:
                    find_fun_entries(ride)

        find_fun_entries(data)
        return json.dumps(happy_list, ensure_ascii=False, indent=4)
    except json.JSONDecodeError:
        return "这个JSON好像被棉花糖粘住啦！需要先清理一下~"

# 测试用例（游乐园场景）
# 有效但需要优化的JSON
amusement_park_json = '''
{
    "今日快乐日志": [
        {
            "活动名称": "旋转木马",
            "游玩体验": "孩子们玩得非常开心。。。",
            "是否推荐": "超级推荐"
        },
        {
            "活动名称": "彩虹滑梯",
            "游玩体验": "像在云朵上飞翔一样",
            "是否推荐": "推荐"
        },
        {
            "后勤记录": {
                "活动名称": "冰淇淋车",
                "游玩体验": "香草口味卖光了",
                "是否推荐": "不推荐"
            }
        }
    ]
}
'''

# 需要修复的破损JSON
broken_happy_json = '''
{
    "今日快乐日志": [
        {
            "活动名称": "旋转木马",
            "游玩体验": "音乐声有点小,
            "是否推荐": "一般推荐"
        },
        {
            "活动名称": "摩天轮",
            "游玩体验": "夜景美得就像星空",
            "是否推荐": "强烈推荐"
        '''
        
# 理想中的快乐数据
perfect_happy_json = '''
[
    {
        "活动名称": "旋转木马",
        "游玩体验": "孩子们玩得非常开心！",
        "是否推荐": "超级推荐"
    },
    {
        "活动名称": "彩虹滑梯",
        "游玩体验": "像在云朵上飞翔一样！",
        "是否推荐": "推荐"
    }
]
'''

# 欢乐测试流程
print("🎪"*20 + " 开始快乐测试 " + "🎢"*20)

print("\n🌈 测试1：直接处理破损的快乐JSON（）")
try:
    fixed_data = json_repair.loads(broken_happy_json)
    print("修复后的快乐数据：\n", json.dumps(fixed_data, indent=4, ensure_ascii=False))
except Exception as e:
    print(f"😅 遇到小故障：{str(e)}")

print("\n🎠 测试2：转换游乐园原始数据")
print("原始数据转换结果：")
print(convert_to_happy_format(amusement_park_json))

print("\n🎡 测试3：修复并转换破损数据（按照指定格式）")
try:
    repaired = json_repair.repair_json(broken_happy_json, return_objects=True)
    print("最终快乐数据：\n", convert_to_happy_format(json.dumps(repaired)))
except Exception as e:
    print(f"🎪 游乐设施暂时关闭：{str(e)}")

print("\n🍭 测试4：验证完美快乐数据")
print(convert_to_happy_format(perfect_happy_json))

输出

🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪🎪 开始快乐测试 🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢🎢

🌈 测试1：直接处理破损的快乐JSON（）
修复后的快乐数据：
 {
    "今日快乐日志": [
        {
            "活动名称": "旋转木马",
            "游玩体验": "音乐声有点小",
            "是否推荐": "一般推荐"
        },
        {
            "活动名称": "摩天轮",
            "游玩体验": "夜景美得就像星空",
            "是否推荐": "强烈推荐"
        }
    ]
}

🎠 测试2：转换游乐园原始数据
原始数据转换结果：
[
    {
        "活动名称": "旋转木马",
        "游玩体验": "孩子们玩得非常开心。。。",
        "是否推荐": "超级推荐"
    },
    {
        "活动名称": "彩虹滑梯",
        "游玩体验": "像在云朵上飞翔一样",
        "是否推荐": "推荐"
    },
    {
        "活动名称": "冰淇淋车",
        "游玩体验": "香草口味卖光了",
        "是否推荐": "不推荐"
    }
]

🎡 测试3：修复并转换破损数据（按照指定格式）
最终快乐数据：
 [
    {
        "活动名称": "旋转木马",
        "游玩体验": "音乐声有点小",
        "是否推荐": "一般推荐"
    },
    {
        "活动名称": "摩天轮",
        "游玩体验": "夜景美得就像星空",
        "是否推荐": "强烈推荐"
    }
]

🍭 测试4：验证完美快乐数据
[
    {
        "活动名称": "旋转木马",
        "游玩体验": "孩子们玩得非常开心！",
        "是否推荐": "超级推荐"
    },
    {
        "活动名称": "彩虹滑梯",
        "游玩体验": "像在云朵上飞翔一样！",
        "是否推荐": "推荐"
    }
]

相关文章：

  • Elasticsearch集群与日志系统实战部署指南
  • 3 C#调用visionPro的toolblock的步骤
  • jQuery从入门到应用：选择器、DOM与Ajax综合指南
  • AGI大模型（7）：提示词应用
  • 怎样通过企业数据资产管理推动企业数字化转型
  • Linux 系统蓝牙音频服务实现分析
  • Qt：槽函数与信号
  • 【QT笔记---QText】
  • APL语言的嵌入式存储
  • 用人工智能程序驱动机器人工作
  • Java基础-List、Set、Map
  • PyQt6嵌入HTML5内容教程
  • 小聪转转转
  • LinkedList底层结构和源码分析（JDK1.8）
  • OpenFeign的配置类可以进行哪些配置
  • Could not find resource...
  • synchronized与 Java内置锁（未写完）
  • PyCharm 2019.1.3使用python3.9创建虚拟环境setuptools-40.8.0报错处理
  • 干货：Farrow设计实现详解
  • 【论文精读】DifFace: Blind Face Restoration with Diffused Error Contraction
  • 过去24小时中美是否就关税问题进行过接触？外交部：没有
  • 荆州市委书记汪元程：全市各级干部要做到慎微、慎初、慎独、慎友
  • 民营经济促进法出台，自今年5月20日起施行
  • 体坛联播｜欧冠半决赛阿森纳主场不敌巴黎，北京男篮险胜山西
  • 宋徽宗《芙蓉锦鸡图》亮相，故宫首展历代动物绘画
  • 李在明涉嫌违反《公职选举法》案将于5月1日宣判