大数据工程师技术栈探讨_大数据服务测试工程师技术栈-程序员宅基地

技术标签: Python数据分析  中间件技术  数据库  big data  大数据  

1.前言

        随着国务院印发十四五规划关于数字经济规划和数字信息化建设的推进(如下图1所示)。大量的数字化的产品将产生海量的数据,因此近些年大数据技术越来越被大家重视起来。

图1  国务院十四五数字经济规划

        目前大数据技术也在不断迭代更新,人才稀缺。但是高校的技术学习相对滞后且相应的基础设施很薄弱,很多老师都没有对大数据相关应用实践经历,照本宣科。而大数据的技术学习门槛相对较高,很多是从Java工程师转行过来的,相对来说企业用工成本降低了。

        大数据商业应用潜力巨大。目前很多的互联网科技企业能够实现基于大数据的智能推荐,能实现数据的流式处理。其中零售业、金融业、电子政务等都有应用(如图2所示)。但对于中小企业来说条件有限,很多只能实现数据的分布式数据存储和数据的查询,对于数据的更高价值应用很难突破。主要原因是人才的匮乏和数据开发成本较高。

 图2 互联网大厂

        所以,目前大数据技术的潜力巨大,但是存在着很多问题。比如,人才基础的薄弱,很多来自Java程序员或者培训机构出来的学员;商业应用开发难度系数大,大的互联网科技公司才有大数据岗位,就业难度变大。本文旨在整理出大数据相关技术栈,供感兴趣同学学习指教,如有错误请评论区指正,谢谢。

2.案例展示

(1)人才画像推荐系统

(2)驾驶舱(数据可视化)

  (3)智慧物流系统

 (4)实时数仓

 

3.技术栈

(1)基础部分

Java基础、Java web技术、datax等可视化工具、mysql/oracle

(2)Hadoop基础

hadoop核心框架(HDFS、YARN和MAPREDUCE)等

(3)分布式缓存和消息中间件

redis、rabbitmq、kafka、elastic search

(4)数仓计算技术

hive 、spark、flink、phoenix、sqoop等

(5)数据分析和数据挖掘

python语言、数理统计知识、机器学习(深度学习)算法基础

(6)项目实战训练

hadoop大数据环境的搭建、大数据的离线计算、批处理和流式处理、用户画像的建立与推荐系统等。

4.就业方向

(1)数据可视化工程师

(2)ETL工程师

(3)大数据开发工程师

(4)数据分析和数据挖掘工程师

 

5.未来展望

        大数据技术适用于大型系统,价值巨大。将继续学习并沉淀相关技术,有兴趣的小伙伴可以一起探讨学习哦。

参考文献:

[1]常见的大数据平台架构设计思路_大数据基础入门教程-程序员宅基地_大数据平台架构

[2]数据可视化Sugar BI-百度智能云

[3]datax详细介绍及使用_东北溜达滑的博客-程序员宅基地_datax

[4]基于DataX和Flink-CDC的DataOps数据同步中台TIS | TIS

[5]全国数据监控

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_40928946/article/details/122504193

智能推荐

分布式系统理论学习总结_分布式系统及其理论-程序员宅基地

文章浏览阅读3.7k次。分布式理论CAPCAP定理讲的是三个性。consistency数据一致性,availability可用性,partition tolerance分区容错性。三者只能选其中两者。为什么呢,看看这三个性质意味着什么吧。首先看看分区容错性,分区容错性指的是网络出现分区(丢包,断网,超时等情况都属于网络分区)时,整个服务仍然可用。由于网络分区在实际环境下一定存在,所以必须首先被考虑..._分布式系统及其理论

qt 登陆界面账号和密码的验证_qt ui 设计 怎么做槽 密码认证-程序员宅基地

文章浏览阅读1.6w次。这几天一直研究怎么让界面账号和密码验证的问题特别想用数据库,一直有QSQLlitdatabase cant find 的问题 找了很多方法没成功 要交课设 所以放弃用其他方法 用文件存吧 比较省事但是有个更简单的办法 哈哈   先看 转到槽函数user那是显示的信息 头文件加上QMessageBox  最后那行 获得焦点 倒数第二行清楚输入 结合我之前发的登陆界面到主界_qt ui 设计 怎么做槽 密码认证

串口通讯以及MPAndroidchart画图的使用(kotlin)_int count=linedatasets.get(0).getentrycount();-程序员宅基地

文章浏览阅读3.9k次,点赞3次,收藏9次。目录一.Kotlin串口通讯实现... 21.1导入基础库... 21.2 效果展示... 31.3布局界面... 412.1 代码... 41.4 Activity实现代码... 913.1 实列化... 91.3.2 适配波特率以及获取本机串口号,进行串口监听... 9二.MPAndroidChart图表使用... 132.1导入基础库... 132.1.1.引入开源库... 132.1.2在app根目录的buil.gradle文件中加入依赖... 1.._int count=linedatasets.get(0).getentrycount();

【Kubernetes】Pod调度到指定Node_双实例pod 调度到不同node-程序员宅基地

文章浏览阅读2.4w次。问题描述   Kubernetes有着自己特定的调度算法与策略,有Master中的Scheduler组件来实现,根据Node资源使用情况自动调度Pod的创建,通常可以满足我们大部分的需求。但是有时我们希望可以将某些Pod调度到特定硬件节点上,这里采用目前最为简单的nodeName和nodeSelector来实现Pod调度。  假设以下场景:有三个Node,分别为107、108、109,创建De_双实例pod 调度到不同node

angular6使用ngx-bootstrap/modal_ngx-bootstrap modal-程序员宅基地

文章浏览阅读6.4k次。首先下载ngx-bootstrap:npm install ngx-bootstrap --save下载后,在module.ts中导入ngx-bootstrap/modal类:import { ModalModule } from 'ngx-bootstrap'; imports: [ ... ModelModule, ModalModule.forRoot(..._ngx-bootstrap modal

Centos7利用rpm升级OpenSSH到openssh-8.1p1版本_openssh8.1升级使用rpm-程序员宅基地

文章浏览阅读3.4k次。参考:https://www.cnblogs.com/fsckzy/p/10834550.html Centos 升级至 OpenSSH 8 rpm包制作RPM打包使用的是rpmbuild命令,这个命令来自rpm-build软件包,这个是必装的。yum install rpm-build -y #安装rpm-build软件,以提供rpmbuild命令 69 ssh -V 70 rpm -qa openssh 71 yum install rpm-..._openssh8.1升级使用rpm

随便推点

训练网络报错device-side assert triggered_device-site-程序员宅基地

文章浏览阅读225次。出现以下:​Assertion 'indexValue>=0 && indexValue < src.sizes[dim]​应该是分类数和路径所指向的类别数不匹配。_device-site

关于Unity中的UGUI优化,你可能遇到这些问题-程序员宅基地

文章浏览阅读181次。https://blog.uwa4d.com/archives/QA_UGUI-1.html关于Unity中的UGUI优化,你可能遇到这些问题作者:admin/时间:2016年11月08日/浏览:23818 次/分类:厚积薄发关键字界面制作网格重建界面切换加载相关字体一、界面制作Q1:UGUI里的这个选项 ,应该是ET..._ugui 文字过多 很卡

一看就会(废)的最小二乘法推导_最小二乘拟合流程图-程序员宅基地

文章浏览阅读1.2k次,点赞2次,收藏9次。一、预备知识:方程组解的存在性及引入  最小二乘法可以用来做函数的拟合或者求函数极值。在机器学习的回归模型中,我们经常使用最小二乘法。我们先举一个小例子来走进最小二乘法。  某次实验得到了四个数据点(x,y):(1,6)、(2,5)、(3,7)、(4,10)(x,y):(1,6)、(2,5)、(3,7)、(4,10)(x,y):(1,6)、(2,5)、(3,7)、(4,10) (下图中红色的点)。我们希望找出一条与这四个点最匹配的直线 y=θ1+θ2xy = \theta_{1} + \theta_{_最小二乘拟合流程图

nodejs 控制台美化 console-color-mr_node控制台打印美化-程序员宅基地

文章浏览阅读4.1k次。console-color-mr插件可以让node控制台输出带有颜色,是一个不错的插件,通过颜色可以更直观的分析程序bug一、使用npm install -D console-color-mr// 方法一import 'console-color-mr'console.log(`.....`.red);// 方法二import _console from 'consol..._node控制台打印美化

WIN10删除微软拼音输入法,设置默认输入法为英文_微软拼音输入法删除后没有纯英文输入怎么办-程序员宅基地

文章浏览阅读1k次。WIN10删除微软拼音输入法,设置默认输入法为英文删除微软拼音输入法设置英文为默认输入方式删除微软拼音输入法在安装好自己熟悉的输入法后,我通常会将系统自带的微软拼音输入法删除,但系统又总是会自动重装上去。解决的办法很简单,删除以后,再手动添加一次微软拼音输入法,然后再一次删除,以后系统就不会再次自动重装了。设置英文为默认输入方式然后点高级键盘设置,选择默认输入法..._微软拼音输入法删除后没有纯英文输入怎么办

java打印一个三角形_java使用float函数打印三角形-程序员宅基地

文章浏览阅读192次。java打印一个三角形public class Day1 { //打印一个5行三角形 public static void main(String[] args) { for (int i = 1; i <= 5; i++) { //设置好需要打印的行数 for (int i1 = 5; i1 >=i; i1--) { //嵌套的第一个for循环,作用从5到1打印空格,打印5个空格后, _java使用float函数打印三角形