发布时间:2022-04-01 15:15:09来源：转载
大数据从概念到落地，在国内的发展其实主要就是这几年，而正是在这几年当中，随着大数据市场规模的进一步扩大，大数据人才需求还将进一步加大。大数据工程师是做什么样的工作?
目前的大数据处理主要有两个软件框架，Hadoop和Spark。从各家公司的招聘要求来看，想要从事大数据开发，掌握Hadoop或者Spark是不可少的。
Hadoop三大件包括HDFS、Yarn和MapReduce。大数据量存储用HDFS，Yarn是其自带的一个资源管理框架，而MapReduce是一个分布式计算框架，跑在Yarn上，配合HDFS用来做分布式数据计算。
Spark相当于MapReduce的改进版，写分布式计算任务时，从代码上看更简洁，而且它支持大家都喜欢的python，上手比较快。
从目前的技术趋势来看，Spark风头正劲，而Hadoop、Storm的一些组件则在消退。分布式计算框架Hadoop MapReduce，以其稳定性著称。但他是基于磁盘IO的计算框架，在迭代计算和交互式数据挖掘方面性能较差。正是因为MapReduce的痛点，基于内存的计算框架Spark才应运而生。
当然，这些技术框架的学习，对有技术开发基础的小伙伴，直接开始上手学习也没问题，但是没有是基础薄弱转行的小伙伴，需要先从打好基础
日常生活中的大数据
上下班地铁站
在一些大都市，地铁对每一个上班族来说，肯定是在熟悉不过的事情，地铁的人流量大家也是深有体会的，通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站，每个时间段的客流量，根据这些客流量也能准确的计算出平时的出现高峰期，以及从而做出正确的决策，比如在哪个时间段，那个站点需要进行人流的控制来缓解交通出行的压力。
每日的阅读数据
现在基本上每个人都有一部智能手机，不论是商场，还是在家里，还是在其他任何地方，相信好多低头族都在不停的刷着手机，也在每时每刻的的产生着海量数据。
每日的购物数据
各种各样的电商网站，各种各样的物品，都在时时刻刻的产生着海量的数据，自从有了互联网，每分钟的交易数与传统的生意相比提高了成千上万倍(远远不止成千上万)。
上海大数据培训中心-学大数据需要基础吗
学大数据可以找什么工作？
珠海达内大数据培训价格是多少？
兰州达内大数据分析培训怎么报名
大数据技术学了能干什么？
大数据分析师和大数据工程师有什么区别？
更多培训课程： 浦东新区大数据 更多学校信息： 上海浦东新区职坐标IT培训 咨询电话：
咨询
