zw_chinese 发表于 2012-2-1 16:24:03

海量数据调优，求方案，有经验的人指点下

数据库中有好几亿的数据，但是如果在前台根据筛选条件查询，也许满足条件的数据会有好几百万条，那访问效率会不会很低，如果相同50个人同样做这样的查询操作，系统的效率，一定很慢。
其实自己对性能方面工作经验并不多，更别提这海量数据了，求一些对海量数据进行性能测试的方案，
数据库方面要注意什么，性能测试的时候又能注意到什么。

云层 发表于 2012-2-1 16:38:06

测一下就知道了，没事不要查那么多出来，限制一下返回长度，很快的，别当数据库是假的

zw_chinese 发表于 2012-2-1 16:58:50

可以要进行不断的翻页，刷新，查询的话，是否效率会很低，何况本身就并发了一些数据，云层大大，给点案例啥的吧，咱还支持过您写的书呢，拜托了。小弟我真没啥子经验。
如果关联表很多的话，如果建立海量数据呢，比如说上千万，或者几亿的数据，如果一张表多关联啥子的，建立数据的时候也会很慢吧

云层 发表于 2012-2-1 17:00:16

看
http://bbs.51testing.com/thread-518089-1-1.html
这个帖子，自己写个sql并发一下就行了，其实查询这种东西没那么容易慢的，

zw_chinese 发表于 2012-2-1 17:13:27

他们居然要求一个页面，能显示上几百万条条数据...不知道什么方法能实现这个问题

zw_chinese 发表于 2012-2-1 17:18:24

给点性能调优的案例吧，分享下经验，劳烦了:handshake

云层 发表于 2012-2-1 17:20:05

让他们去死

shigejinian1 发表于 2012-2-2 09:29:18

找DBA。。从数据库逻辑结构 和 设计上面着手。

mvvztt 发表于 2012-2-2 09:42:16

他们居然要求一个页面，能显示上几百万条条数据...不知道什么方法能实现这个问题
zw_chinese 发表于 2012-2-1 17:13 http://bbs.51testing.com/images/common/back.gif


    真的可以让他们去屎了~~~一个页面显示几百万数据。。。。。。。

zw_chinese 发表于 2012-2-7 16:31:59

先这样了，客户太二，我问题在请教了，谢谢了

泊涯 发表于 2012-2-8 09:46:57

回复 1# zw_chinese


    50用户并发，查询条件不一样，关注数据库的CPU IO 内存 网络堵塞情况，表锁情况，临时空间等使用情况===问题，前台lr 看响应时间 网络等监控
应用服务器内存估计会有问题

humh 发表于 2012-2-8 10:57:34

读写分离,内存数据库,水平拆分,把这些都用上,哼哼,一个页面显示几百万的话,你给他们说时间可能会比较慢,哈哈,看看他们能否忍受即可.

newhackerman 发表于 2012-2-8 16:53:22

本帖最后由 newhackerman 于 2012-2-8 17:00 编辑

面对上亿数据量的系统,在数据库设计上就要高度重视,表结构设计,字段类型的采用,表折分,表空间分离,索引空间与表空间分离,减少IO
生产硬件环境/软件环境,网络环境,软件架构,业务逻辑,每一个环节都必须合理的设计与部署.
在前台页面上显示上百万数据,本身需求就不合理,查看手指都会抽筋,如果客户硬要这样的话,前台只提供一连接,调用其它方法的把数据取出来(后台以数据库文件的格式输出/txt输出,xls一个文件只支持100多万的.可以分多个文件输出)

zhoward 发表于 2012-2-8 17:39:48

也遇到同样的问题，数据量上亿，而且数据会越来越大。目前查询时一页返回500条数据，每次进行页码操作时将重新查询，速度慢的不行。目前是把数据放在同一张表里面，创建了多个索引，100用户测试时数据库服务器cpu长期100%，硬盘使用率10%一下，内存没问题。可以判定cpu存在瓶颈，但这个瓶颈也有可能是数据库引起，都不知道该如何解决。

葺卡儿 发表于 2012-2-10 09:40:30

关注解决方案！

cocayang 发表于 2012-2-10 18:17:33

关注解决方案
页: [1]
查看完整版本: 海量数据调优，求方案，有经验的人指点下