51Testing软件测试论坛

标题: mysql数据库优化五步走（二） [打印本页]

作者: leetutu 时间: 2007-10-19 18:07
标题: mysql数据库优化五步走（二）
第四步
　　
　　1:索引的使用,索引的重要性就不说了,功能也不说了,只说怎么做. 首先要明确所有的mysql索引(primary,unique,index)在b树中有存储.索引主要用语:
　　
　　a:快速找到where指定条件的记录 b:执行联结时,从其他表检索行 c:对特定的索引列找出max()和min()值
　　
　　d：如果排序或者分组在一个可用键的最前面加前缀，排序或分组一个表
　　
　　e：一个查询可能被用来优化检索值，而不用访问数据文件．如果某些表的列是数字型并且正好是某个列的前缀，为了更快，值可以从索引树中取出
　　
　　２：存储或者更新数据的查询速度　grant的执行会稍稍的减低效率．
　　
　　mysql的函数应该被高度的优化．可以用benchmark（loop_count,expression)来找出是否查询有问题
　　
　　select的查询速度：如果想要让一个select．．．where．．．更快，我能想到的只有建立索引．可以在一个表上运行myisamchk－－analyze来更好的优化查询．可以用myisamchk－－sort－index－－sort－records＝１来设置用一个索引排序一个索引和数据．
　　
　　３：mysql优化where子句
　　
　　3.１：删除不必要的括号：
　　
　　（（a AND b) AND c OR (((a AND b) AND (a AND d))))>(a AND b AND c) OR (a AND b AND c AND d)
　　
　　3.2:使用常数
　　
　　（ab>5 AND b=c AND a=5
　　
　　3.3:删除常数条件
　　
　　（b>=5 AND b=5) OR (b=6 AND 5=5) OR (b=100 AND 2=3) >b=5 OR b=6
　　
　　3.4:索引使用的常数表达式仅计算一次
　　
　　3.5：在一个表中，没有一个where的count(*)直接从表中检索信息
　　
　　3.6:所有常数的表在查询中在任何其他表之前读出
　　
　　3.7:对外联结表最好联结组合是尝试了所有可能性找到的
　　
　　3.8：如果有一个order　by字句和一个不同的group　by子句或者order　by或者group　by包含不是来自联结的第一个表的列，那么创建一个临时表
　　
　　3.9:如果使用了sql_small_result，那么msyql使用在内存中的一个表
　　
　　3.10:每个表的索引给查询并且使用跨越少于３０％的行的索引．
　　
　　3.11在每个记录输出前，跳过不匹配having子句的行
　　
　　４：优化left　join
　　
　　在mysql中　a left join b按以下方式实现
　　
　　a：表b依赖于表a　
　　
　　b：表a依赖于所有用在left　join条件的表（除了b）
　　
　　c：所有left　join条件被移到where子句中
　　
　　d：进行所有的联结优化，除了一个表总是在所有他依赖的表后读取．如果有一个循环依赖，那么将发生错误
　　
　　e：进行所有的标准的where优化 f：如果在a中有一行匹配where子句，但是在b中没有任何匹配left　join条件，那么，在b中生成的所有设置为ＮＵＬＬ的一行
　　
　　g：如果使用left　join来找出某些表中不存在的行并且在where部分有column_name IS NULL测试(column_name为NOT NULL列)．那么，mysql在它已经找到了匹配left　join条件的一行后，将停止在更多的行后寻找
　　
　　５：优化limit
　　
　　a：如果用limit只选择一行，当mysql需要扫描整个表时，它的作用相当于索引
　　
　　b：如果使用limit＃与order　by，mysql如果找到了第＃行，将结束排序，而不会排序正个表
　　
　　c：当结合limit＃和distinct时，mysql如果找到了第＃行，将停止
　　
　　d：只要mysql已经发送了第一个＃行到客户，mysql将放弃查询
　　
　　e：limit 0一直会很快的返回一个空集合．
　　
　　f：临时表的大小使用limit＃计算需要多少空间来解决查询
　　
　　６：优化insert
　　
　　插入一条记录的是由以下构成：
　　
　　a:连接（３）
　　
　　b:发送查询给服务器（２）
　　
　　c:分析查询（２）
　　
　　d:插入记录（１*记录大小）
　　
　　e：插入索引（１*索引）
　　
　　f：关闭（１）
　　
　　以上数字可以看成和总时间成比例
　　
　　改善插入速度的一些方法：
　　
　　6.1：如果同时从一个连接插入许多行，使用多个值的insert，这比用多个语句要快
　　
　　6.2：如果从不同连接插入很多行，使用insert　delayed语句速度更快
　　
　　6.3: 用myisam，如果在表中没有删除的行，能在select：s正在运行的同时插入行
　　
　　6.4: 当从一个文本文件装载一个表时，用load　data　infile．这个通常比insert快20 倍
　　
　　6.5:可以锁定表然后插入－－主要的速度差别是在所有insert语句完成后，索引缓冲区仅被存入到硬盘一次．一般与有不同的insert语句那样多次存入要快．如果能用一个单个语句插入所有的行，锁定就不需要．锁定也降低连接的整体时间．但是对某些线程最大等待时间将上升．例如：
　　
　　thread 1 does 1000 inserts
　　
　　thread 2,3 and 4 does 1 insert
　　
　　thread 5 does 1000 inserts
　　
　　如果不使用锁定，２，３，４将在１和５之前完成．如果使用锁定，２，３，４，将可能在１和５之后完成．但是整体时间应该快４０％．因为insert，update，delete操作在mysql中是很快的，通过为多于大约５次连续不断的插入或更新一行的东西加锁，将获得更好的整体性能．如果做很多一行的插入，可以做一个lock　tables，偶尔随后做一个unlock　tables（大约每１０００行）以允许另外的线程存取表．这仍然将导致获得好的性能．load　data　infile对装载数据仍然是很快的．
　　
　　为了对load　data　infile和insert得到一些更快的速度，扩大关键字缓冲区．
　　
　　７优化update的速度
　　
　　它的速度依赖于被更新数据的大小和被更新索引的数量
　　
　　使update更快的另一个方法是推迟修改，然后一行一行的做很多修改．如果锁定表，做一行一行的很多修改比一次做一个快
　　
　　８优化delete速度
　　
　　删除一个记录的时间与索引数量成正比．为了更快的删除记录，可以增加索引缓存的大小从一个表删除所有行比删除这个表的大部分要快的多
　　
　　第五步
　　
　　１：选择一种表类型 1.1静态myisam
　　
　　这种格式是最简单且最安全的格式，它是磁盘格式中最快的．速度来自于数据能在磁盘上被找到的难易程度．当锁定有一个索引和静态格式的东西是，它很简单，只是行长度乘以数量．而且在扫描一张表时，每次用磁盘读取来读入常数个记录是很容易的．安全性来源于如果当写入一个静态myisam文件时导致计算机down掉，myisamchk很容易指出每行在哪里开始和结束，因此，它通常能收回所有记录，除了部分被写入的记录．在mysql中所有索引总能被重建
　　
　　1.2动态myisam
　　
　　这种格式每一行必须有一个头说明它有多长．当一个记录在更改期间变长时，它可以在多于一个位置上结束．能使用optimize　tablename或myisamchk整理一张表．如果在同一个表中有像某些varchar或者blob列那样存取／改变的静态数据，将动态列移入另外一个表以避免碎片．
　　
　　1.2.1压缩myisam，用可选的myisampack工具生成
　　
　　1.2.2内存
　　
　　这种格式对小型／中型表很有用．对拷贝／创建一个常用的查找表到洋heap表有可能加快多个表联结，用同样数据可能要快好几倍时间．
　　
　　select tablename.a,tablename2.a from tablename,tablanem2,tablename3 where
　　
　　tablaneme.a=tablename2.a and tablename2.a=tablename3.a and tablename2.c!=0;
　　
　　为了加速它，可以用tablename2和tablename3的联结创建一个临时表，因为用相同列（tablename1.a）查找．
　　
　　ＣＲＥＡＴＥ　ＴＥＭＰＯＲＡＲＹ　ＴＡＢＬＥ　test TYPE=HEAP
　　
　　SELECT
　　
　　tablename2.a as a2,tablename3.a as a3
　　
　　FROM
　　
　　tablenam2,tablename3
　　
　　WHERE
　　
　　tablename2.a=tablename3.a and c=0;
　　
　　SELECT tablename.a,test.a3 from tablename,test where tablename.a=test.a1;
　　
　　SELECT tablename.a,test,a3,from tablename,test where tablename.a=test.a1 and ....;
　　
　　1.3静态表的特点
　　
　　1.3.1默认格式．用在表不包含varchar，blob，text列的时候
　　
　　1.3.2所有的char，numeric和decimal列填充到列宽度
　　
　　1.3.3非常快
　　
　　1.3.4容易缓冲
　　
　　1.3.5容易在down后重建，因为记录位于固定的位置
　　
　　1.3.6不必被重新组织（用myisamchk），除非是一个巨量的记录被删除并且优化存储大小
　　
　　1.3.7通常比动态表需要更多的存储空间
　　
　　1.4动态表的特点
　　
　　1.4.1如果表包含任何varchar，blob，text列，使用该格式
　　
　　1.4.2所有字符串列是动态的
　　
　　1.4.3每个记录前置一个位．
　　
　　1.4.4通常比定长表需要更多的磁盘空间
　　
　　1.4.5每个记录仅仅使用所需要的空间，如果一个记录变的很大，它按需要被分成很多段，这导致了记录碎片
　　
　　1.4.6如果用超过行长度的信息更新行，行被分段．
　　
　　1.4.7在系统down掉以后不好重建表，因为一个记录可以是多段
　　
　　1.4.8对动态尺寸记录的期望行长度是３＋（number　of　columns＋７）／８＋(number of char columns)+packed size of numeric columns+length of strings +(number of NULL columns+7)/8
　　
　　对每个连接有６个字节的惩罚．无论何时更改引起记录的变大，都有一个动态记录被连接．每个新连接至少有２０个字节，因此下一个变大将可能在同一个连接中．如果不是，将有另外一个连接．可以用myisamchk　－恶毒检查有多少连接．所有连接可以用myisamchk -r删除．
　　
　　1.5压缩表的特点
　　
　　1.5.1一张用myisampack实用程序制作的只读表．
　　
　　1.5.2解压缩代码存在于所有mysql分发中，以便使没有myisampack的连接也能读取用myisampack压缩的表
　　
　　1.5.3占据很小的磁盘空间
　　
　　1.5.4每个记录被单独压缩．一个记录的头是一个定长的（１～～３个字节）这取决于表的最大记录．每列以不同的方式被压缩．一些常用的压缩类型是：
　　
　　a:通常对每列有一张不同的哈夫曼表　b:后缀空白压缩　c:前缀空白压缩 d:用值０的数字使用１位存储
　　
　　e:如果整数列的值有一个小范围，列使用最小的可能类型来存储．例如：如果所有的值在０到２５５之间，一个bigint可以作为一个tinyint存储
　　
　　g:如果列仅有可能值的一个小集合，列类型被转换到enum 　h:列可以使用上面的压缩方法的组合
　　
　　1.5.5能处理定长或动态长度的记录，去不能处理blob或者text列 1.5.6能用myisamchk解压缩
　　
　　mysql能支持不同的索引类型，但一般的类型是isam，这是一个Ｂ树索引并且能粗略的为索引文件计算大小为(key_length+4)*0.67，在所有的键上的总和．
　　
　　字符串索引是空白压缩的。如果第一个索引是一个字符串，它可将压缩前缀如果字符串列有很多尾部空白或是一个总部能甬道全长的varchar列，空白压缩使索引文件更小．如果很多字符串有相同的前缀．
　　
　　1.6内存表的特点
　　
　　mysql内部的heap表使用每偶溢出去的１００％动态哈希并且没有与删除有关的问题．只能通过使用在堆表中的一个索引来用等式存取东西（通常用＇＝＇操作符）
　　
　　堆表的缺点是：
　　
　　1.6.1想要同时使用的所有堆表需要足够的额外内存
　　
　　1.6.2不能在索引的一个部分搜索
　　
　　1.6.3不能按顺序搜索下一个条目（即，使用这个索引做一个order　by）
　　
　　1.6.4mysql不能算出在２个值之间大概有多少行．这被优化器使用是用来决定使用哪个索引的，但是在另一个方面甚至不需要磁盘寻道

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)