在回答题主问题之前,还是让我们先看一段PPV课社区上的一段真实对话:小袁:我是一只苦逼的程序猿,俗称技术屌丝男,还属于码农阶段,起早贪黑不分时间,没房没车没对象,每天除了代码,就是BUG,觉得暗无天日,没有钱途,现在想换相关的职业,不知道DOCTOR V有什么可以介绍的?Doctor V:云计算的实现,咱们迎来了大数据时代,而基于数据处理和开发,有几个职位想必你会感兴趣,且也是现在大数据时代 背景下所需求的。插一句,且这个行业工资还很高,让你以后在技术行业有傲娇的资本…….^_^ 小袁:那大数据行业职位都跟我说说呗?Doctor V:大数据行业Z主要的是数据分析师和大数据工程师,下面是它的职位体系架构小袁:数据分析师和大数据工程师主要是做什么?DoctorV:大数据工程师主要是偏开发层面,指的是围绕大数据系平台系统级的研发人员, 熟练Hadoop大数据平台的核心框架,能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。小袁:学习这个需要什么基础吗?Doctor V:java你肯定要很熟练, linux 这个也需要了解一些,当然hadoop本身入门不难,但是你想看懂源代码,想深入的理解,你要对多线程,并行化等概念都要了解,本身hadoop是一个框架,你把他了解透彻了也等于你对java技术已经有了一个系统的掌握了。小袁:能简单跟我说说hadoop的学习路径吗?DoctorV:简单来说就是,首先了解Hadoop原理和用途,了解什么是hdfs和mapreduce;其次,开始搭个环境跑一个wordcount;再次,跑完wordcount,你就可以改代码了;Z后测试独立完成一个业务场景…..小袁:嗯,了解,更多的还是偏技术,写代码。那你还是跟我说说数据分析师这个职位吧,貌似跟数据打交道,挺有挑战性的!?Doctor V:数据分析师是指基于大数据进行数据处理分析的人员,能熟练的用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总、理解并消化,以求Z大化地开发数据的功能,发挥数据的作用。小袁:这个听起来跟数据打交道,需要做决策分析的啊,好像挺有发展前途啊,有技术基础的能学吗,薪资怎么样啊?Doctor V:数据分析师在企业中发挥的价值在于能够利用已有的数据资料(一手或二手的)进行观测,实验,研究分析出背后的一套规律为企业进行优化决策。业务层面的员工需要写出数据报告给老板看,如果你的分析结果对企业决策(如营销计划)有改善从而提高了业绩,那么待遇肯定是意想不到的。数据分析师这个行业入门要求比较低,需要懂一些数据统计、ETL等知识,这些对于学技术的你来说,应该是小菜一碟。小袁:这个职位,以后的职业路线是怎样的啊?Doctor V:在职业发展方面,Z初可能会是数据分析员从基层开始做起,有团队有人带,到后面逐渐上升为分析师,ZS分析师、数据分析专家,数据架构师;其中数据架构师 要求比较高,既要精通数据分析师的业务决策层面,也要会使用Hadoop开发和使用运算模型,我觉得这个可以作为你未来的发展方向,因为你比纯粹的数据分析师有技术基础。 小袁:那么数据分析师和数据挖掘(算法)工程师又有什么区别呢?Doctor V:数据挖掘(算法)工程师需要较强的编程能力,需要通过语言进行模型算法优化和相关数据产品的开发,而数据分析师需要更多的是业务理解和数据分析能力,一般是业务背景,对编程能力也没有严格的要求。小袁:OK,got it!数据分析师和数据挖掘工程师的区别:1)处理的对象不同:数据挖掘一般是处理大数据,需要分布式计算和编程,数据分析师一般处理的小数据和抽样数据;2)使用的工具不同:数据挖掘师一般是通过计算机工程和算法解决问题,需要写代码,而数据分析师是通过数据分析软件解决问题,使用的是软件工具和脚本语言;3)三观不同:数据分析多依赖统计分析,一般需要因果分析和逻辑合理性,数据挖掘多依赖计算机技术,属于利用算力暴力破解,更专注相关性而非因果逻辑。更多内容请搜索“AI时代就业指南”