位置:有考网 > 计算机类>大数据> 大数据工程师是做什么样的工作?  正文

大数据工程师是做什么样的工作?

发布时间:2022-04-01 15:15:09来源:转载

大数据从概念到落地,在国内的发展其实主要就是这几年,而正是在这几年当中,随着大数据市场规模的进一步扩大,大数据人才需求还将进一步加大。大数据工程师是做什么样的工作?

目前的大数据处理主要有两个软件框架,Hadoop和Spark。从各家公司的招聘要求来看,想要从事大数据开发,掌握Hadoop或者Spark是不可少的。

Hadoop三大件包括HDFS、Yarn和MapReduce。大数据量存储用HDFS,Yarn是其自带的一个资源管理框架,而MapReduce是一个分布式计算框架,跑在Yarn上,配合HDFS用来做分布式数据计算。

Spark相当于MapReduce的改进版,写分布式计算任务时,从代码上看更简洁,而且它支持大家都喜欢的python,上手比较快。

从目前的技术趋势来看,Spark风头正劲,而Hadoop、Storm的一些组件则在消退。分布式计算框架Hadoop MapReduce,以其稳定性著称。但他是基于磁盘IO的计算框架,在迭代计算和交互式数据挖掘方面性能较差。正是因为MapReduce的痛点,基于内存的计算框架Spark才应运而生。

当然,这些技术框架的学习,对有技术开发基础的小伙伴,直接开始上手学习也没问题,但是没有是基础薄弱转行的小伙伴,需要先从打好基础

日常生活中的大数据

上下班地铁站

在一些大都市,地铁对每一个上班族来说,肯定是在熟悉不过的事情,地铁的人流量大家也是深有体会的,通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站,每个时间段的客流量,根据这些客流量也能准确的计算出平时的出现高峰期,以及从而做出正确的决策,比如在哪个时间段,那个站点需要进行人流的控制来缓解交通出行的压力。

每日的阅读数据

现在基本上每个人都有一部智能手机,不论是商场,还是在家里,还是在其他任何地方,相信好多低头族都在不停的刷着手机,也在每时每刻的的产生着海量数据。

每日的购物数据

各种各样的电商网站,各种各样的物品,都在时时刻刻的产生着海量的数据,自从有了互联网,每分钟的交易数与传统的生意相比提高了成千上万倍(远远不止成千上万)。

上海大数据培训中心-学大数据需要基础吗
学大数据可以找什么工作?
珠海达内大数据培训价格是多少?
兰州达内大数据分析培训怎么报名
大数据技术学了能干什么?
大数据分析师和大数据工程师有什么区别?

更多培训课程: 浦东新区大数据 更多学校信息: 上海浦东新区职坐标IT培训 咨询电话:

相关内容: 大数据工程师 大数据 职坐标

同类文章