4.如何处理Labelme标注后的数据

正文：

  在上一篇文章中我们讲了如何标注数据集，那么我们在本篇文章中来讲一下如何处理这些数据集。下面我会提供相应的代码，大家只需要执行相应的代码即可。

一、将Labelme标注成功后的json格式数据转成yolo可直接使用的txt数据

# -*- coding: utf-8 -*-
"""
@Auth:ShiGuang
@Date:2023-10-30-17:57
"""
import json
import os


def json2yolo(path, filename, classdic):
    file_path = path + filename
    data = json.load(open(file_path, encoding="utf-8"))  # 读取带有中文的文件
    img_w = data["imageWidth"]  # 获取json文件里图片的宽高
    img_h = data["imageHeight"]
    all_line = ''
    for i in data["shapes"]:
        # 归一化坐标点。并得到cx,cy,w,h
        [[x1, y1], [x2, y2]] = i['points']
        x1, x2 = x1 / img_w, x2 / img_w
        y1, y2 = y1 / img_h, y2 / img_h
        cx = (x1 + x2) / 2
        cy = (y1 + y2) / 2
        # 将数据组装成yolo格式
        line = "%s %.4f %.4f %.4f %.4f\n" % (classdic[i["label"]], cx, cy, abs(x2 - x1), abs(y2 - y1))  # 生成txt文件里每行的内容
        all_line += line
    # print(all_line)
    save_path = path.replace("labels_json", "labels")
    if not os.path.isdir(save_path):
        os.makedirs(save_path)
    filename = (save_path + filename).replace('json', 'txt')  # 将path里的json替换成txt,生成txt里相对应的文件路径
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(all_line)


path = r"./labels_json/" #这里选择labels_json的路径
path_list2 = [x for x in os.listdir(path) if ".json" in x]  # 获取所有json文件的路径
classdic = {"notch": "0"}
# 类别字典
for filename in path_list2:
    json2yolo(path, filename, classdic)

接下来直接使用上面的脚本来处理就可以了，path这里换成标注完成的labels_json文件夹所在的路径，classdic这个地方主要是标签，在上一篇我们标注数据的时候只有一个标签notch，所以这里填写{"notch": "0"}，如果标注的时候有多个标签，那么这里就是{"标签1":0,"标签2":1}这样就可以了。填写完成之后就可以直接运行了，之后在labels_json文件夹同级路径下就能看到一个labels文件夹了，这个里面就是处理的好数据。

二、数据集划分

# -*- coding:utf-8 -*-
"""
@Author:时光
@date:2023-11-18 9:29
"""
import os
import random
import shutil
from tqdm import tqdm


def split_images_folder(img_dir, label_dir, save_img_path, img_suffix='.jpg', train_pct=0.8, valid_pct=0.1,
                        test_pct=0):
    """
    将数据集划分为训练集，验证集，测试集。
    参数:
        img_dir: 原图片数据路径
        label_dir: 原标签文件路径
        save_img_path: 数据集划分后保存的基础路径
        img_suffix: 图像文件后缀名
        train_pct: 训练集比例
        valid_pct: 验证集比例
        test_pct: 测试集比例
    """
    # 验证总和比例正确性
    total_pct = train_pct + valid_pct + test_pct
    if total_pct != 1.0:
        raise ValueError("训练、验证和测试集的比例之和应为1.0")

    # 定义输出目录结构的根目录
    split_dir = os.path.join(os.path.dirname(save_img_path), "detect")

    # **新增：删除旧的 detect 文件夹**
    if os.path.exists(split_dir):
        print(f"正在删除已有的目录：{split_dir}")
        shutil.rmtree(split_dir)
        print(f"目录 {split_dir} 已删除。")

    # 创建数据集目录结构
    subdirs = {'train': train_pct, 'val': valid_pct}

    # 仅添加“test”目录如果 test_pct 大于 0
    if test_pct > 0:
        subdirs['test'] = test_pct

    for subdir_name in subdirs.keys():
        for data_type in ['images', 'labels']:
            dir_path = os.path.join(split_dir, subdir_name, data_type)
            os.makedirs(dir_path, exist_ok=True)

    # 获取并打乱全部文件列表
    imgs = [f for f in os.listdir(img_dir) if f.endswith(img_suffix)]
    random.shuffle(imgs)

    # 计算每个子集的边界
    img_count = len(imgs)
    train_end = int(img_count * train_pct)
    valid_end = train_end + int(img_count * valid_pct)

    dataset_splits = {
        'train': (0, train_end),
        'val': (train_end, valid_end),
    }

    if test_pct > 0:
        dataset_splits['test'] = (valid_end, img_count)

    for split_name, (start_idx, end_idx) in dataset_splits.items():
        out_img_dir = os.path.join(split_dir, split_name, 'images')
        out_label_dir = os.path.join(split_dir, split_name, 'labels')

        for i in tqdm(range(start_idx, end_idx)):
            img_name = imgs[i]
            base_name = os.path.splitext(img_name)[0]

            src_img_path = os.path.join(img_dir, img_name)
            src_label_path = os.path.join(label_dir, base_name + '.txt')

            target_img_path = os.path.join(out_img_dir, img_name)
            target_label_path = os.path.join(out_label_dir, base_name + '.txt')

            shutil.copy(src_img_path, target_img_path)
            if os.path.exists(src_label_path):
                shutil.copy(src_label_path, target_label_path)  # 仅在标签存在时复制

    print('完成数据集划分：train:{}, val:{}, test:{}'.format(train_end, valid_end - train_end,
                                                            img_count - valid_end) if test_pct > 0 else '{} 图片划分为训练集和验证集'.format(
        img_count))


# 使用函数划分数据集
img_dir = r"./images/"    
label_dir = r"./labels/"
save_img_path = r"./detect"
train_pct = 0.9
valid_pct = 0.1
test_pct = 0  # 这里设置测试集的比例，例如 0.0 表示不分配测试集
split_images_folder(img_dir, label_dir, save_img_path, train_pct=train_pct, valid_pct=valid_pct, test_pct=test_pct)

上面的代码很简单，只需要填写对应的路径就可以了，img_dir 也就是我们的图片所在的文件夹路径，label_dir 就是刚才我们转换完后的labels文件夹所在的路径，save_img_path 这个就是最终的输出路径，当这个执行完成之后，就会出现如下几个文件夹：

首先我们看到的是detect文件夹，之后我们打开这个文件夹，如下：

这两个分别是训练集和验证集，两个文件夹下都是如下：

到这里整个数据集就都处理好了。下面我提供一份简单的数据集吧，90张（已经标注好的）

shopee数据集

好了，本篇文章到此结束，下一篇文章我们讲如何使用yolo来训练我们的验证码识别模型