51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 3510|回复: 1
打印 上一主题 下一主题

[转贴] 浅析大数据十大发展趋势及学习的几点建议

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2018-3-9 11:35:25 | 只看该作者 回帖奖励 |正序浏览 |阅读模式

2016年,近40%的公司正在实施和扩展大数据技术应用,另有30%的公司计划在未来12个月内采用大数据技术,62.5%的公司现在至少有一个大数据项目投入生产,只有5.4%的公司没有大数据应用计划,或者是没有正在进行的大数据项目,虽然大数据市场将会继续增长这一点毋庸置疑,新的大数据技术正在进入市场,而一些旧技术的使用还在继续增长,本文介绍2017年及以后大数据未来发展的十大趋势。由于大数据技术涉及内容太庞杂,应用领域广泛,而且各领域和方向采用的关键技术差异性也会较大,希望给正在学习大数据的朋友一个明确的方向,不再盲目的学习。


大数据学习者需要知道的十大发展趋势,以及学习大数据的几点建议

1、开放源码

Hadoop、Spark等开源应用程序已经在大数据领域占据了主导地位,Hadoop的使用率正以每年32.9%的速度增长,2017年及以后许多企业将继续扩大他们的Hadoop和NoSQL技术应用,并寻找方法来提高处理大数据的速度。

2、内存技术

现代内存技术将数据存储在RAM中,这样大大提高了数据存储的速度,预测,内存数据架构每年将增长29.2%。

3、机器学习

它指出,当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法,创建出能够理解、学习、预测、适应,甚至可以自主操作的系统,是2017年及以后的十大战略技术之一。

4、预测分析

预测分析与机器学习密切相关,2016年仅有29%的公司使用预测分析技术,这个数量并不多。同时,许多供应商最近都推出了预测分析工具。随着企业越来越意识到预测分析工具的强大功能,这一数字在未来几年可能会出现激增。

5、智能app

企业使用机器学习和AI技术的另一种方式是创建智能应用程序。这些应用程序采用大数据分析技术来分析用户过往的行为,为用户提供个性化的服务,未来10年,几乎每个app,每个应用程序和服务都将一定程度上应用AI。

6、智能安保

7、物联网

物联网能对大数据产生相当大的影响

8、边缘计算

边缘计算是一种可以帮助公司处理物联网大数据的新技术

9、高薪职业

到2018年,美国将有181,000个深度分析岗位,是数据管理和数据解读相关技能岗位数量的五倍,并且,2017年数据科学家的平均年薪在116,000美元到163,500美元之间(当然这是美国的标准,中国国内目前尚未统计)。同样,明年大数据工程师的薪资也将增长5.8%,在135,000美元到196,000美元之间。

10、自助服务

由于聘请高级专家的成本过高,许多公司开始转向数据分析工具,到2018年,绝大部分企业都将投资终端用户自助服务。

以上是10个大数据的发展趋势,正在学习大数据的小伙伴可以参考作为以后想要进军的领域,贪多嚼不烂的道理大家都懂,能把大数据技术全都掌握的在国内目前可以说数得过来,所以我们刚进入大数据领域的话可以选择一个适合自己或者自己感兴趣的。

几点学习大数据的建议:

1、大数据学习要业务驱动,不要技术驱动:数据科学的核心能力是解决问题

2、大数据学习要善用开源,不要重复造轮子:数据科学的技术基因在于开源

3、大数据学习要以点带面,不贪大求全:数据科学要把握好碎片化与系统性

4、大数据学习要勇于实践,不要纸上谈兵:一定要清楚是在做数据科学还是数据工程,各需要哪些方面的技术能力,现在处于哪一个阶段等,不然为了技术而技术,是难以学好和用好大数据的

5、大数据学习的三个阶段:不同阶段的技术路线各有侧重,把握主要矛盾

阶段一:大数据基础设施建设阶段:这个阶段的重点是把大数据存起来,管起来,能用起来,同时要考虑大数据平台和原有业务系统的互通联合问题

阶段二:数据描述性分析阶段:此阶段主要定位于离线或在线对数据进行基本描述统计和探索式可视化分析,对管理起来的大数据能进行海量存储条件下的交互式查询、汇总、统计和可视化,如果建设了BI系统的,还需整合传统BI技术进行OLAP、KPI、Report、Chart、Dashboard等分析和初步的描述型数据挖掘分析

阶段三:大数据高级预测分析和生产部署阶段:在初步描述分析结果合理,符合预期目标,数据分布式管理和描述型分析稳定**的条件下,可结合进一步智能化分析需求,采用如深度学习等适用海量数据处理的机器学习模型,进行高级预测性挖掘分析。并通过逐步迭代优化挖掘模型和数据质量,形成稳定可靠和性能可扩展的智能预测模型,并在企业相关业务服务中进行分析结果的决策支持,进行验证、部署、评估和反馈。

上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8139),我们将立即处理。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

x
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-11-23 01:43 , Processed in 0.067280 second(s), 24 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表