IT评测·应用市场-qidao123.com

标题: 具体分析Mysql去重的几种方法（附Demo） [打印本页]

---

作者: 没腿的鸟    时间: 2024-9-2 12:40
标题: 具体分析Mysql去重的几种方法（附Demo）
前言

在MySQL中，SELECT DISTINCT 和 GROUP BY 可以用往复除重复记录，二者有相似的功能，但在某些情况下有所差别
1. DISTINCT

SELECT DISTINCT 用于从表中选择唯一的记录，去除所有重复的数据行
直接作用于结果集，并去除所有指定列上的重复值

1. SELECT DISTINCT equipment_no
2. FROM equipment_check_order;

复制代码

在单列去重的场景下，效率较高。但是在处置惩罚大数据集时，可能会影响性能，因为须要全表扫描和去重
2. GROUP BY

GROUP BY 用于将具有雷同值的记录分组，并可以进行聚合操作
纵然不利用聚合函数，仅利用 GROUP BY 也可以达到去重的结果

1. SELECT equipment_no
2. FROM equipment_check_order
3. GROUP BY equipment_no;

复制代码

3. Mysql版本

3.1 低版本

在不支持窗口函数的 MySQL 版本中，可以利用子查询来进行去重
假设希望去除 equipment_check_order 表中的重复 equipment_no，并生存每个 equipment_no 的最新记录，可以利用子查询的方式来实现

1. -- 创建目标表
2. CREATE TABLE IF NOT EXISTS deduplicated_orders (
3.     equipment_no VARCHAR(255),
4.     check_date DATE,
5.     PRIMARY KEY (equipment_no, check_date)
6. );
8. -- 将去重后的数据插入到目标表
9. INSERT INTO deduplicated_orders (equipment_no, check_date)
10. SELECT equipment_no, check_date
11. FROM equipment_check_order AS e
12. WHERE check_date = (
13.     SELECT MAX(check_date)
14.     FROM equipment_check_order
15.     WHERE equipment_no = e.equipment_no
16. );

复制代码

或者利用自联拼接的方式:

1. -- 创建目标表
2. CREATE TABLE IF NOT EXISTS deduplicated_orders (
3.     equipment_no VARCHAR(255),
4.     check_date DATE,
5.     PRIMARY KEY (equipment_no, check_date)
6. );
8. -- 使用自联接将去重后的数据插入到目标表
9. INSERT INTO deduplicated_orders (equipment_no, check_date)
10. SELECT e1.equipment_no, e1.check_date
11. FROM equipment_check_order e1
12. LEFT JOIN equipment_check_order e2
13. ON e1.equipment_no = e2.equipment_no
14. AND e1.check_date < e2.check_date
15. WHERE e2.check_date IS NULL;

复制代码

3.2 高版本

利用 ROW_NUMBER() 和 WITH 子句进行去重
基本步骤：

• 定义公共表表达式（CTE）： 利用 WITH 子句创建一个临时结果集
  
• 应用 ROW_NUMBER() 函数： 在 CTE 内部为每一行分配唯一的行号
  
• 选择须要的记录： 在外层查询中，根据行号筛选出须要的记录
  

示例：生存每个 equipment_no 的最新记录
假设有一个表 equipment_check_order，包罗 equipment_no 和 check_date 列，希望去除重复的 equipment_no，并生存每个 equipment_no 的最新记录（即 check_date 最大的记录）

1. -- 创建目标表（如果不存在）
2. CREATE TABLE IF NOT EXISTS deduplicated_orders (
3.     equipment_no VARCHAR(255),
4.     check_date DATE,
5.     PRIMARY KEY (equipment_no, check_date)
6. );
8. -- 使用 CTE 和 ROW_NUMBER() 进行去重
9. WITH ranked AS (
10.   SELECT equipment_no,
11.          check_date,
12.          ROW_NUMBER() OVER (PARTITION BY equipment_no ORDER BY check_date DESC) AS rn
13.   FROM equipment_check_order
14. )
15. INSERT INTO deduplicated_orders (equipment_no, check_date)
16. SELECT equipment_no, check_date
17. FROM ranked
18. WHERE rn = 1;

复制代码

• PARTITION BY equipment_no：根据 equipment_no 列进行分组
  
• SELECT equipment_no, check_date FROM ranked WHERE rn = 1：从 CTE ranked 中选择行号为 1 的记录，即每个分组中最新的记录，如果为小于5，代表去重并生存多条记录
  

4. 总结

方法用法示例优点缺点适用场景SELECT DISTINCTSELECT DISTINCT equipment_no FROM equipment_check_order;简朴易用，直观对大数据集性能影响可能较大单列去重，简朴查询GROUP BYSELECT equipment_no FROM equipment_check_order GROUP BY equipment_no;机动，与聚合函数联合利用方便语法复杂，对性能影响与数据量有关复杂查询或须要与聚合函数联合利用的场景子查询 + ROW_NUMBER()高机动性，可选择特定记录需利用窗口函数，语法复杂高级去重，生存特定记录临时表得当复杂数据处置惩罚，多步骤数据操作操作步骤多，占用额外存储空间数据清理、迁徙，复杂操作
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4