51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 3187|回复: 2
打印 上一主题 下一主题

[求助] 关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计

[复制链接]
  • TA的每日心情
    擦汗
    2 小时前
  • 签到天数: 532 天

    连续签到: 2 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2019-2-19 09:45:36 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点

    目前mysql按地区,商业区区分,假设读取mysql数据库的地区,根据地区划分

    我昨天和领导沟通了,领导说点击率不是必要条件,地区划分才是重点,后面就是各方面劝导,只好以地区区分,关键是这个镇区区分数据和产品的话,全国有6k多个地区,

    这样的hdfs文件夹数量,岂不是很崩溃,

    后面感觉还有很多纬度和条件查询啥的,上头又喊了一句不一定要用hadoop,发挥hadoop啥啥优势,mysql多条件查询方便,好好做这个方案,然后我就一头雾水了,心里比较纠结和郁闷。最近搞mahout出了点成绩,发现单机版也挺好使(数据量少的前提下),搜了搜房子,北京也就519,059这么多套房子在待售,没啥必要用hadoop,自我感觉,如果只是单独分析这些条数据519,059条,感觉不大,

    如果你有好的博客和资源提供,麻烦提供url连接,谢谢


    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    1 小时前
  • 签到天数: 1524 天

    连续签到: 3 天

    [LV.Master]测试大本营

    2#
    发表于 2019-2-20 10:24:38 | 只看该作者
    按需要搞
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    3 小时前
  • 签到天数: 2821 天

    连续签到: 3 天

    [LV.Master]测试大本营

    3#
    发表于 2019-2-20 13:25:07 | 只看该作者
    这个不是应该有单独架构师
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-27 12:00 , Processed in 0.064645 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表