【项目开发】删除表中所有含重复字段的数据

背景

在项目开发过程中，数据去重是一项常见而必要的操作。例如，在管理用户数据时，可能会遇到同一个邮箱（user_email）被多个账号重复使用的情况。为了保持数据的整洁性与唯一性，通常需要在数据库中删除这些重复记录，仅保留其中一条代表性数据（如 user_id 最小的记录）。

本文以 SQLite 数据库为例，介绍如何使用 SQL 语句批量删除某字段（如邮箱）存在重复值的记录，仅保留每个重复值中的一条记录。

实现方案

假设我们有一个名为 datebase 的数据表，表中字段包括 user_id 和 user_email。我们希望删除 user_email 字段值重复的记录，只保留每组重复记录中 user_id 最小的一条数据。可使用如下 SQL 语句实现：

DELETE FROM datebase
WHERE user_email IN (SELECT user_emailFROM datebaseGROUP BY user_emailHAVING COUNT(user_email) > 1
)
AND user_id NOT IN (SELECT MIN(user_id)FROM datebaseGROUP BY user_emailHAVING COUNT(user_email) > 1
);

语句解析

1、WHERE user_email IN (...): 选取所有 user_email 出现次数超过 1 次的记录，即重复值所在行。

子查询部分为 SELECT user_email FROM datebase GROUP BY user_email HAVING COUNT(user_email) > 1，其中：

GROUP BY user_email 对邮箱进行分组；
HAVING COUNT(user_email) > 1 仅选出重复出现的邮箱。

2、AND user_id NOT IN (...): 排除每组中 user_id 最小的记录，即保留该记录。

子查询部分为 SELECT MIN(user_id) FROM datebase GROUP BY user_email HAVING COUNT(user_email) > 1，查找每组重复 user_email 中 user_id 最小的值，并从删除列表中排除。

总结

该 SQL 语句通过两个子查询配合 DELETE 操作，实现了保留每组重复邮箱中的最小 user_id 记录，并删除其余重复项的目标。在实际数据库管理过程中，该方法适用于清理冗余数据，保持数据唯一性和一致性。使用时请注意备份数据库，以防误删数据。