大数据工程师,需要学习哪些基本技能?_大数据工程师学什么专业-程序员宅基地

技术标签: 大数据工程师  大数据技能  大数据  

01.Java高级(虚拟机、并发)

02.Linux 基本操作

03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )

04.HBase(JavaAPI操作+Phoenix )

05.Hive(Hql基本操作和原理理解)

06.Kafka

07.Storm

08.Scala需要

09.Python

10.Spark (Core+sparksql+Spark streaming )

11.一些小工具(Sqoop等)

高阶技能6条:

11.机器学习算法以及mahout库加MLlib

12.R语言

13.Lambda 架构

14.Kappa架构

15.Kylin

16.Aluxio
人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
大数据工程师培训,需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
大数据工程师就业培训哪个好?
http://www.duozhishidai.com/article-15082-1.html
java大数据与python大数据如何选择?

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhinengxuexi/article/details/88744061

智能推荐

畅通project续HDU杭电1874【dijkstra算法 || SPFA】-程序员宅基地

http://acm.hdu.edu.cn/showproblem.php?pid=1874Problem Description某省自从实行了非常多年的畅通project计划后。最终修建了非常多路。只是路多了也不好,每次要从一个城镇到还有一个城镇时,都有很多种道路方案能够选择,而某些方案要比还有一些方案行走的距离要短非常多。这让行人非常困扰。如今,已知...

(汇总记录)电机控制算法-程序员宅基地

Flexible代表S曲线的平滑程度,Flexible越大说明加速度越大,即曲线越陡,Flexible越小说明曲线越平滑,理想的S曲线Flexible取值为4 ~ 6。,则根据该曲线方程的相关特征可知,A、B分量可用于控制电机速度(频率)的取值范围,而a、b分量可用于控制速度(频率)变化率。因此,一般情况下,我们只需要计算加速曲线,在减速时作反向操作即可.如要将S型曲线应用到电机的加减速控制上,需要将方程在X、Y坐标系进行平移,同时对曲线进行拉升变化:即。,即加减速的起始速度(频率)以及目标速度(频率)。_电机控制算法

如何自己搭建一个Maven私服_maven自己的sf-程序员宅基地

前言搭建mavne的私服的好处很多,但是很多初中级程序员都没有亲身搭建过,下来我我来带着大家搭建一个maven私服。本次私服搭建我采用的是Nexus3进行搭建,Nexus3有Linux版本和Windos版本,但是作为一个程序员,我不推荐大家使用Windows。准备材料:待打包的Maven项目、待测试的Maven项目、Linux服务器(Centos7)、Docker不会Docker的朋友,请参考:https://blog.csdn.net/lingerlan510/article/details/116_maven自己的sf

令人蛋疼的错误提示 0xcdcdcdcd ,0xdddddddd ,0xfeeefeee ,0xcccccccc ,0xabababab_ddddcccc-程序员宅基地

原文地址:http://www.cnblogs.com/pcchinadreamfly/archive/2012/04/26/2471317.html参考地址:http://blog.csdn.net/wuhuiran/article/details/2639800上面两者谁转载了谁(再或者源头在别处)已经分不清了,都写上吧!在写C++程序的时候,老实0xcdcdcdc_ddddcccc

linux下springboot项目开机自启_spring boot群晖开机启动-程序员宅基地

springboot项目jar包位置:Desktop/cas-back/target/sso-1.0.0-SNAPSHOT.jar简易脚本如下:sso.sh#!/bin/sh#chkconfig: 2345 80 90#description:开机自动启动的脚本程序# 开启cd /etc/rc.d/init.dnohup /usr/java/jdk1.8.0_171/bin/..._spring boot群晖开机启动

将八进制数字字符组成的字符串转换为与其值相等的十进制整数_将一个由八进制数字字符组成的字符串-程序员宅基地

/*将八进制数字字符组成的字符串转换为与其值相等的十进制整数*/#include<stdio.h>#include<string.h>int main(void){ char a[6]; int b,i,c=1; gets(a); //输入八进制数字字符串 b=a[strlen(a)-1]-'0'; //b赋初始值,为..._将一个由八进制数字字符组成的字符串

随便推点

java中的Gui注册界面-程序员宅基地

我是一个小菜鸟.嘻嘻package suanFa;import java.awt.Color;import java.awt.Font;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;import java.io.BufferedWriter;import java.io.File;impo...

fastreport 横向布局_FastReport VCL使用教程之创建交叉报表_biiiiiiiiq的博客-程序员宅基地

FastReport 能够创建多种样式的报表,比如分层报表、分组报表、页面分段布局报表等等,今天来看看如何使用FASTREPORT VCL创建交叉报表。以一个例子来说,比如我们将要构建一个简单的交叉报表,主要用于显示雇员的薪资超过四年,为了做到这一点,我们需要一个“crosstest”表,它位于FastReport的“DEMOS \主要”文件夹。 这个表包含的数据,如:在Delphi环境中创建一个..._fastreport交叉报表

html分页_MySql大表分页(附独门秘技)-程序员宅基地

问题背景MySql(InnoDB)中的订单表需要按时间顺序分页查询,且主键不是时间维度递增,订单表在百万以上规模,此时如何高效地实现该需求?注:本文并非主要讲解如何建立索引,以下的分析均建立在有合适的索引的前提下初步方案1众所周知,MySql中,有一个limit offset, pageSize的用法,可以实现分页查询select * from order where user_id = xxx ..._mysql实现html分页

Douyu0.6.1 源码分析 之 MVC篇-程序员宅基地

继 ZHH2009 从09年11月发布 Douyu 的第一个版本后,至到今年6月已经发布 Douyu 的第二个版本了。其很多方面都有突破性的设计思路和实现方式,如异步 Action、View中读取Controller 中的本地变量、基于 javac 的动态编译、动态代码生成等

Snapshot和Release版本_code_agent的博客-程序员宅基地

Snapshot和Release版本1.snapshot版本自动获取服务器最新代码原理我们在提交snapshot版本时 mvn deploy,会提交一个带时间搓的版本号!maven会根据模块的版本号(pom文件中的version)中是否带有“-SNAPSHOT”(注意这里必须是全部大写)来判断是快照版本还是正式版本。如果是快照版本,那么在mvn deploy时会自动发布到私服的快照版本库中;如果是正式发布版本,那么在mvn deploy时会自动发布到正式版本库中。我们下载依赖到本地仓库时,也会带_snapshot和release

三丰三坐标编程基本步骤_蔡司三坐标测量机操作技巧,有蔡司三坐标的工厂都清除清楚吗?...-程序员宅基地

正确使用蔡司三坐标测量机可以延长仪器的使用寿命,下面看看蔡司三坐标测量机的具体操作步骤:一、规划检测方案首先是要查看零件图纸,了解测量的要求和方法,规划检测方案或调出检测程序。二、注意操作守则吊装放置被测零件过程中,特别要注意遵守吊车安全的操作规程,保护不损坏测量机和零件,零件安放在方便检测、阿贝误差最小的位置并固定牢固。三、安装探针及附件按照测量方案安装探针及探针附件,要按下“紧急停”按钮在进行..._蔡司三坐标使用技巧