51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 2564|回复: 2

[求助] 关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计

[复制链接]
  • TA的每日心情
    无聊
    8 小时前
  • 签到天数: 385 天

    连续签到: 4 天

    [LV.9]测试副司令

    发表于 2019-2-19 09:45:36 | 显示全部楼层 |阅读模式
    1测试积点

    目前mysql按地区,商业区区分,假设读取mysql数据库的地区,根据地区划分

    我昨天和领导沟通了,领导说点击率不是必要条件,地区划分才是重点,后面就是各方面劝导,只好以地区区分,关键是这个镇区区分数据和产品的话,全国有6k多个地区,

    这样的hdfs文件夹数量,岂不是很崩溃,

    后面感觉还有很多纬度和条件查询啥的,上头又喊了一句不一定要用hadoop,发挥hadoop啥啥优势,mysql多条件查询方便,好好做这个方案,然后我就一头雾水了,心里比较纠结和郁闷。最近搞mahout出了点成绩,发现单机版也挺好使(数据量少的前提下),搜了搜房子,北京也就519,059这么多套房子在待售,没啥必要用hadoop,自我感觉,如果只是单独分析这些条数据519,059条,感觉不大,

    如果你有好的博客和资源提供,麻烦提供url连接,谢谢


    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    7 小时前
  • 签到天数: 1367 天

    连续签到: 4 天

    [LV.10]测试总司令

    发表于 2019-2-20 10:24:38 | 显示全部楼层
    按需要搞
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    10 小时前
  • 签到天数: 2636 天

    连续签到: 4 天

    [LV.Master]测试大本营

    发表于 2019-2-20 13:25:07 | 显示全部楼层
    这个不是应该有单独架构师
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-3-28 17:31 , Processed in 0.064613 second(s), 21 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表