51Testing软件测试论坛

标题: 做了这么多年Java开发，如何快速转行大数据？ [打印本页]

作者: 学掌门网校 时间: 2018-5-10 10:20
标题: 做了这么多年Java开发，如何快速转行大数据？
本帖最后由博为峰网校于 2018-5-10 10:25 编辑

做了这么多年Java开发，如何快速转行大数据？

分享转行经验路线

　　对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里掌握Java语言是有一定优势的。

[attach]115284[/attach]

　　当然，hadoop核心价值在于提供了分布式文件系统和分布式计算引擎，对于大部分公司而言，并不需要对这个引擎进行修改。这时候除了熟悉编程，你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展，则你需要掌握更多的算法相关的知识。

　　对于数据挖掘工程师而言，虽然也需要掌握编程工具，但大部分情况下是把hadoop当做平台和工具，借助这个平台和工具提供的接口使用各种脚本语言进行数据处理和数据挖掘。因此，如果你是往数据挖掘工程方向发展，那么，熟练掌握分布式编程语言如scala、spark-mllib等可能更为重要。

　　Java程序员转大数据工程师的学习路线图

　　第一步：分布式计算框架
　　掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;

　　第二步：算法和工具
　　学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或者Scala。目前主流平台和框架已经提供了算法库，如hadoop上的Mahout和spark上的Mllib，你也可以从学习这些接口和脚本语言开始学习这些算法。

　　第三步：数学
　　补充数学知识：高数、概率论和线代

　　第四步：项目实践
　　1)开源项目：tensorflow：goggle的开源库，已经有40000多个star，非常惊人，支持移动设备;
　　2)参加数据竞赛
　　3)通过企业实习获取项目经验
　　如果你仅仅是做大数据开发和运维，则可以跳过第二步和第三步，如果你是侧重于应用已有算法进行数据挖掘，那么第三步也可以先跳过。

年薪30W+的大数据工程师，都在学习哪些技能？>>查看完整学习线路

[attach]115286[/attach]

上文内容不用于商业目的，如涉及知识产权问题，请权利人联系博为峰小编(021-64471599-8052)，我们将立即处理。

了解更多课程内容及课程安排，可咨询QQ 2852509883 或致电客服 400-821-0951（工作日9:00-17:30）
【看这里】交流、拓展人脉、领取福利欢迎加入博为峰网校大课堂>>>

作者: jingzizx 时间: 2018-5-13 16:26

作者: jingzizx 时间: 2018-5-13 16:27

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)