51Testing软件测试论坛

标题: 删除大数据库表数据的问题（MySQL） [打印本页]

作者: higkoo 时间: 2009-2-10 11:43
标题: 删除大数据库表数据的问题（MySQL）
某表有近七千万数据，只保留前五千万条数据。表结构如下：

CREATE TABLE `BigTableName` (
`ID` bigint(19) NOT NULL auto_increment,
`context` varchar(32) NOT NULL,
`type` int(10) NOT NULL,
PRIMARY KEY (`ID`),
UNIQUE KEY `Index_2` (`context`)
) ENGINE=MyISAM AUTO_INCREMENT=10000000 DEFAULT CHARSET=utf8;

复制代码

方法一：delete from where id>50000000
方法二：delete from order by id desc limit 10000000
两种方法执行都非常之慢！查看执行状态总停在init，服务器内存都吃完了都没见数据少，有没朋友支招？

作者: 野蛮天使宝宝 时间: 2009-2-11 14:34
标题: 据我所知，sql语法是这样的挖
delete * from BigTableName（表名） where id>50000000

作者: higkoo 时间: 2009-2-12 11:10
标题: 回复 2# 的帖子
是的，我上面只是写出了那意思，不是完整有SQL语句。

现在已经删完了，两千万，两整天！

作者: archonwang 时间: 2009-2-12 17:00
感觉是不是数据库中有锁？？应该不需要这么久吧。

可以试试看这个语句

Truncate Table

你可以尝试下（SQL server下可以，mysql没试过）：
如何在SQLSERVER中快速有条件删除海量数据

如果你的硬盘空间小，并且不想设置数据库的日志为最小(因为希望其他正常的日志希望仍然记录)，而且对速度要求比较高，并清除所有的数据建议你用turncate table1,因为truncate 是DDL操作，不产生rollback，不写日志速度快一些，然后如果有自增的话，恢复到1开始，而delete会产生rollback，如果删除大数据量的表速度会很慢，同时会占用很多的rollback segments，同时还要记录下G级别的日志；当然如果有条件删除比如where time<'2006-3-10' 怎么办，能不能不记录日志用delete，回答是不行的，SQL Server 引擎在设计上就会对 Delete 操作进行日志记录。至今没有办法强制制定某一些语句不记录到日志中，如果在执行 Delete Table1 where Time < '2006-3-10' 由于涉及的记录比较多,所以日志记录也相应很大(3-4G),如果可行,我建议用以下方式：

选出您所需要保留的记录到新的表。如果您使用 Full Recovery Mode
根据SELECT INTO的记录数,日志可能会比较大
Select * into Table2 From Table1 Where Time > = '2006-03-10'

然后直接Truncate Table1。无论何种恢复模式都不会进行日志记录
Truncate table Table1

最后对Table2进行改名为Table1
EC sp_rename 'Table2', 'Table1'

[ 本帖最后由 archonwang 于 2009-2-12 17:04 编辑 ]

作者: freewater 时间: 2009-2-13 18:03
版主写的很清楚,
先将需要的数据select到新表里面,
然后truncate旧表,
再改新表表名

作者: higkoo 时间: 2009-2-14 15:10
标题: 回复 5# 的帖子
此问题产生的原因就是因为MyISAM引擎不支持事务导致只能一条条处理，导致IO成了瓶颈。

select 也一样要一条条读写，速度也是一样。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)