51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 3077|回复: 15
打印 上一主题 下一主题

[原创] 海量数据调优,求方案,有经验的人指点下

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2012-2-1 16:24:03 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
数据库中有好几亿的数据,但是如果在前台根据筛选条件查询,也许满足条件的数据会有好几百万条,那访问效率会不会很低,如果相同50个人同样做这样的查询操作,系统的效率,一定很慢。
其实自己对性能方面工作经验并不多,更别提这海量数据了,求一些对海量数据进行性能测试的方案,
数据库方面要注意什么,性能测试的时候又能注意到什么。
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

该用户从未签到

2#
发表于 2012-2-1 16:38:06 | 只看该作者
测一下就知道了,没事不要查那么多出来,限制一下返回长度,很快的,别当数据库是假的
回复 支持 反对

使用道具 举报

该用户从未签到

3#
 楼主| 发表于 2012-2-1 16:58:50 | 只看该作者
可以要进行不断的翻页,刷新,查询的话,是否效率会很低,何况本身就并发了一些数据,云层大大,给点案例啥的吧,咱还支持过您写的书呢,拜托了。小弟我真没啥子经验。
如果关联表很多的话,如果建立海量数据呢,比如说上千万,或者几亿的数据,如果一张表多关联啥子的,建立数据的时候也会很慢吧
回复 支持 反对

使用道具 举报

该用户从未签到

4#
发表于 2012-2-1 17:00:16 | 只看该作者

http://bbs.51testing.com/thread-518089-1-1.html
这个帖子,自己写个sql并发一下就行了,其实查询这种东西没那么容易慢的,
回复 支持 反对

使用道具 举报

该用户从未签到

5#
 楼主| 发表于 2012-2-1 17:13:27 | 只看该作者
他们居然要求一个页面,能显示上几百万条条数据...不知道什么方法能实现这个问题
回复 支持 反对

使用道具 举报

该用户从未签到

6#
 楼主| 发表于 2012-2-1 17:18:24 | 只看该作者
给点性能调优的案例吧,分享下经验,劳烦了
回复 支持 反对

使用道具 举报

该用户从未签到

7#
发表于 2012-2-1 17:20:05 | 只看该作者
让他们去死
回复 支持 反对

使用道具 举报

该用户从未签到

8#
发表于 2012-2-2 09:29:18 | 只看该作者
找DBA。。从数据库逻辑结构 和 设计上面着手。
回复 支持 反对

使用道具 举报

该用户从未签到

9#
发表于 2012-2-2 09:42:16 | 只看该作者
他们居然要求一个页面,能显示上几百万条条数据...不知道什么方法能实现这个问题
zw_chinese 发表于 2012-2-1 17:13



    真的可以让他们去屎了~~~一个页面显示几百万数据。。。。。。。
回复 支持 反对

使用道具 举报

该用户从未签到

10#
 楼主| 发表于 2012-2-7 16:31:59 | 只看该作者
先这样了,客户太二,我问题在请教了,谢谢了
回复 支持 反对

使用道具 举报

该用户从未签到

11#
发表于 2012-2-8 09:46:57 | 只看该作者
回复 1# zw_chinese


    50用户并发,查询条件不一样,关注数据库的CPU IO 内存 网络堵塞情况,表锁情况,临时空间等使用情况===问题,前台lr 看响应时间 网络等监控
应用服务器内存估计会有问题
回复 支持 反对

使用道具 举报

该用户从未签到

12#
发表于 2012-2-8 10:57:34 | 只看该作者
读写分离,内存数据库,水平拆分,把这些都用上,哼哼,一个页面显示几百万的话,你给他们说时间可能会比较慢,哈哈,看看他们能否忍受即可.
回复 支持 反对

使用道具 举报

  • TA的每日心情
    开心
    2018-1-30 12:49
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]测试排长

    13#
    发表于 2012-2-8 16:53:22 | 只看该作者
    本帖最后由 newhackerman 于 2012-2-8 17:00 编辑

    面对上亿数据量的系统,在数据库设计上就要高度重视,表结构设计,字段类型的采用,表折分,表空间分离,索引空间与表空间分离,减少IO
    生产硬件环境/软件环境,网络环境,软件架构,业务逻辑,每一个环节都必须合理的设计与部署.
    在前台页面上显示上百万数据,本身需求就不合理,查看手指都会抽筋,如果客户硬要这样的话,前台只提供一连接,调用其它方法的把数据取出来(后台以数据库文件的格式输出/txt输出,xls一个文件只支持100多万的.可以分多个文件输出)
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2012-2-8 17:39:48 | 只看该作者
    也遇到同样的问题,数据量上亿,而且数据会越来越大。目前查询时一页返回500条数据,每次进行页码操作时将重新查询,速度慢的不行。目前是把数据放在同一张表里面,创建了多个索引,100用户测试时数据库服务器cpu长期100%,硬盘使用率10%一下,内存没问题。可以判定cpu存在瓶颈,但这个瓶颈也有可能是数据库引起,都不知道该如何解决。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
    发表于 2012-2-10 09:40:30 | 只看该作者
    关注解决方案!
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    16#
    发表于 2012-2-10 18:17:33 | 只看该作者
    关注解决方案
    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-13 03:52 , Processed in 0.075176 second(s), 27 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表