如何去除MySQL数据表中的重复数据？

对于常规的MySQL数据表中可能存在重复的数据，有些情况是允许重复数据的存在，有些情况是不允许的，这个时候我们就需要查找并删除这些重复数据，以下是具体的处理方法！

方法一：防止表中出现重复数据

当表中未添加数据时，可以在MySQL数据表中设置指定的字段为PRIMARY KEY（主键） 或者 UNIQUE（唯一） 索引来保证数据的唯一性。

例如在学生信息表中学号no不允许重复，需设置学号no为主键，且默认值不能为NULL。

CREATE TABLE student

(

   no CHAR(12) NOT NULL,

   name CHAR(20),

   sex CHAR(10),

   PRIMARY KEY (no)

);

方法二：过滤删除重复值

对于数据表中原有的数据，想要去除重复数据需要经过重复数据查找、过滤以及删除等步骤。

1. 统计重复数据

mysql> SELECT COUNT(*) as repetitions,no

    -> FROM student

    -> GROUP BY no

    -> HAVING repetitions > 1;

以上查询语句将返回student表中重复的记录数。

2. 过滤重复数据

如果需要读取不重复的数据可以在SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

mysql> SELECT DISTINCT no

    -> FROM student;

也可以使用 GROUP BY 来读取数据表中不重复的数据

mysql> SELECT no

    -> FROM student

    -> GROUP BY (no);

3. 删除重复数据

删除数据表中重复数据，可以使用以下SQL语句：

mysql> CREATE TABLE tmp SELECT no, name, sex FROM student GROUP BY (no, sex);

mysql> DROP TABLE student;

mysql> ALTER TABLE tmp RENAME TO student;

也可以在数据表中添加INDEX（索引）和 PRIMAY KEY（主键）来删除表中的重复记录，方法如下：

mysql> ALTER IGNORE TABLE student

    -> ADD PRIMARY KEY (no);