51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 4238|回复: 5
打印 上一主题 下一主题

删除大数据库表数据的问题(MySQL)

[复制链接]
  • TA的每日心情
    开心
    2014-12-26 13:34
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]测试小兵

    跳转到指定楼层
    1#
    发表于 2009-2-10 11:43:08 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    某表有近七千万数据,只保留前五千万条数据。表结构如下:
    1. CREATE TABLE `BigTableName` (
    2.   `ID` bigint(19) NOT NULL auto_increment,
    3.   `context` varchar(32) NOT NULL,
    4.   `type` int(10) NOT NULL,
    5.   PRIMARY KEY  (`ID`),
    6.   UNIQUE KEY `Index_2` (`context`)
    7. ) ENGINE=MyISAM AUTO_INCREMENT=10000000 DEFAULT CHARSET=utf8;
    复制代码

    方法一:delete from where id>50000000
    方法二:delete from order by id desc limit 10000000
    两种方法执行都非常之慢!查看执行状态总停在init,服务器内存都吃完了都没见数据少,有没朋友支招?
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

    该用户从未签到

    2#
    发表于 2009-2-11 14:34:34 | 只看该作者

    据我所知,sql语法是这样的挖

    delete * from BigTableName(表名) where id>50000000
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2014-12-26 13:34
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]测试小兵

    3#
     楼主| 发表于 2009-2-12 11:10:42 | 只看该作者

    回复 2# 的帖子

    是的,我上面只是写出了那意思,不是完整有SQL语句。

    现在已经删完了,两千万,两整天!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2018-2-28 18:04
  • 签到天数: 40 天

    连续签到: 1 天

    [LV.5]测试团长

    4#
    发表于 2009-2-12 17:00:43 | 只看该作者
    感觉是不是数据库中有锁??应该不需要这么久吧。

    可以试试看这个语句

    Truncate Table

    你可以尝试下(SQL server下可以,mysql没试过):
    如何在SQLSERVER中快速有条件删除海量数据

    如果你的硬盘空间小,并且不想设置数据库的日志为最小(因为希望其他正常的日志希望仍然记录),而且对速度要求比较高,并清除所有的数据建议你用turncate table1,因为truncate 是DDL操作,不产生rollback,不写日志速度快一些,然后如果有自增的话,恢复到1开始,而delete会产生rollback,如果删除大数据量的表速度会很慢,同时会占用很多的rollback segments,同时还要记录下G级别的日志 ;当然如果有条件删除比如where time<'2006-3-10' 怎么办,能不能不记录日志用delete,回答是不行的,SQL Server 引擎在设计上就会对 Delete 操作进行日志记录。至今没有办法强制制定某一些语句不记录到日志中,如果在执行 Delete Table1 where Time < '2006-3-10' 由于涉及的记录比较多,所以日志记录也相应很大(3-4G),如果可行,我建议用以下方式:

    选出您所需要保留的记录到新的表。如果您使用 Full Recovery Mode
    根据SELECT INTO的记录数,日志可能会比较大
    Select * into Table2 From Table1 Where Time > = '2006-03-10'

    然后直接Truncate Table1。无论何种恢复模式都不会进行日志记录
    Truncate table Table1

    最后对Table2进行改名为Table1
    EC sp_rename 'Table2', 'Table1'

    [ 本帖最后由 archonwang 于 2009-2-12 17:04 编辑 ]
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
    发表于 2009-2-13 18:03:32 | 只看该作者
    版主写的很清楚,
    先将需要的数据select到新表里面,
    然后truncate旧表,
    再改新表表名
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2014-12-26 13:34
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]测试小兵

    6#
     楼主| 发表于 2009-2-14 15:10:01 | 只看该作者

    回复 5# 的帖子

    此问题产生的原因就是因为MyISAM引擎不支持事务导致只能一条条处理,导致IO成了瓶颈。

    select 也一样要一条条读写,速度也是一样。
    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-24 04:22 , Processed in 0.071520 second(s), 27 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表