IDEA环境安装及运行_段智华的博客-程序员宝宝

技术标签: 生产实战spark  

IDEA环境安装及运行


(1)windows 10 + idea 运行spark 提示 Winutils异常:

解决办法:

1,建立目录 C:\hadoop\bin,将网上下载的winutils.exe文件放在此目录下。(网上提供的下载地址https://github.com/srccodes/hadoop-common-2.2.0-bin

2,环境变量配置:HADOOP_HOME 配置为 C:\hadoop

3,注销或重启windows 10,Winutils问题解决。

18/01/15 10:04:17 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
	at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)
	at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)
	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:363)
	at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79)
	at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:104)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:86)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:66)
	at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:280)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:271)
	at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:248)
	at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:763)
	at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:748)
	at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:621)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2373)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2373)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2373)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:295)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)
	at com.dt.spark.cores.DatasetOps$.main(DatasetOps.scala:27)
	at com.dt.spark.cores.DatasetOps.main(DatasetOps.scala)

(2) idea +git 

   在IDEA 中使用Git 可参考 https://www.cnblogs.com/zbw911/p/6206689.html

git下载提示

15:31	Couldn't save uncommitted changes.
		Tried to save uncommitted changes in stash before Update, but failed with an error.
		stash file://D:/WorkSpace/test1.0: unable to auto-detect email address (got '[email protected](none)')
		Cannot save the current index state

解决:

1,进入git的目录 

C:\Users\lenovo>cd C:\git\bin

2,设置用户名 密码即可

C:\Users\lenovo>
C:\Users\lenovo>cd C:\git\bin

C:\git\bin>git config --global user.email "[email protected]"

C:\git\bin>git config --global user.name "duanzhihua"

C:\git\bin>




版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/duan_zhihua/article/details/79062215

智能推荐

GPS导航电文——第一子帧数据解析_喜欢喝茶的猫的博客-程序员宝宝_gps 帧率

1 GPS导航电文导航电文一帧包含1500位,需30秒时间传输完成。这1500位又分为5个子帧,每子帧300位。每子帧按顺序分为10个字,每个字有30位。每子帧开头是遥测字(Telemetry Word,TLM)和交接字(HandoverWord,HOD)。每一帧中的每一个均以6比特的奇偶校验码结束。一个完整的导航电文包括25帧。GPS系统中,对导航电文5个子帧划分成三个数据块:第1子帧为第一数据块,第2、3子帧为第二数据块,第4、5子帧为第三数据块,第三数据块共有25页,所以发送完一套完整的导航电

pandas的groupby创建了新变量_波克布林猪猪怪的博客-程序员宝宝

修改得到的group 的值,不会对原本的来源造成影响import pandas as pdimport numpy as npdata11=pd.DataFrame(np.arange(12).reshape(3,4),columns=['a','b','c','d'])data_group=data11.groupby(by = 'a')print(data11)data_group=list(data_group.groups)data_group[0]=100print(dat

linux环境下编译部署php生产环境_Amarisllx的博客-程序员宝宝_php编译环境

liunx环境下编译部署php生产环境版本控制php:7.2.4nginx:1.9.9部分插件版本xlswriter:1.3.3.2redis:3.1.3一、安装php1.安装依赖(之后安装缺少的依赖都可以用yum安装)yum install -y gcc gcc-c++ make zlib zlib-devel pcre pcre-devel libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxm

Linux设备驱动开发详解-Note(16)---Linux 设备驱动中的阻塞与非阻塞 I/O(1)_King Seal的博客-程序员宝宝

Linux 设备驱动中的阻塞与非阻塞 I/O(1)成于坚持,败于止步阻塞与非阻塞 I/O阻塞操作是指在执行设备操作时若不能获得资源则挂起进程,直到满足可操作的条件后再进行操作。被挂起的进程进入休眠状态,被从调度器的运行队列移走,直到等待的条件被满足。而非阻塞操作的进程在不能进行设备操作时并不挂起,它或者放弃,或者不停地查询,直至可以进行操作为止。 驱动程序通常需要提供这

启动webloigc报错/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64中找不到JRE_小男孩运维的博客-程序员宝宝

启动webloigc报错/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64中找不到JRE报错截图:报错的大概意思是:在目录/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64中找不到JRE。 (JAVA_HOME)请编辑您的环境并设置JAVA_HOME变量指向Java安装的根目录打开startWebL...

【树形DP】Codeforces - 1187 - E. Tree Painting_Elliott__的博客-程序员宝宝

【题目链接】http://codeforces.com/contest/1187/problem/E题意给出一棵树,树上每个节点初始都是白色。一开始任意选择一个点染成黑色,然后每次选择一个与黑点相邻的白点染色。每次染色会获得一个值,这个值为包含所选点的白色连通块的大小。题解假设第一个点确定,那就是个树形dp,dp方程是:dp[u]=∑dp[v]+size[u]dp[u]=\sum{...

随便推点

如何在windows系统下安装swoole(cgywin环境)_wwg19848的博客-程序员宝宝

swoole框架是一个很神奇很厉害的框架,它弥补了PHP的本身的一些不足之处。其实swoole确切的说是一个使用C语言编写的PHP扩展,并且这个扩展不能够在windows系统使用,但是就目前的开发环境来说还是使用windows的程序员比较多。那怎么样才能够在windows系统来开发使用swoole扩展呢?当然我们可以使用vm做个虚拟机然后搭建linux环境,但是这样做的话只能是要么在虚拟机中编写代码要么就只能在windows编写好之后拷贝到虚拟机中啦!对于我来说我觉得太麻烦啦,于是问了问度娘发现了cgywi

负号前置函数_点点也存在?的博客-程序员宝宝_c函数前加负号

DATA:aa(2) TYPE c.START-OF-SELECTION.aa = 0 - 8.CALL FUNCTION 'CLOI_PUT_SIGN_IN_FRONT'  CHANGING    VALUE         = aa          . WRITE:aa.

eclispe中使用 maven build启动maven项目和打包项目_qq546542233的博客-程序员宝宝_eclipse里build怎么写goal

1.右键项目2.点击run as按钮 3.点击run configurations 4.配置如下:=============================加油加油加油加油加油加油====================目的:在Eclipse中配置Maven build打包项目右击-->Run As-->Run Configurations 在左侧Maven Build下选中自

CURL组建中,HTTPS使用ip地址连接时候,SSL安全验证方法!_directdraw的博客-程序员宝宝_curlopt_ssl_ctx_function

1.背景1.苹果最近调整了HTTP连接的思路,要求iOS开发代码中所有的http连接都必须使用,https安全连接方式。2.在实现HTTP服务中,会有种VIP的保障逻辑。在域名解析失败(DNS劫持是其中一种情况)而无法连接时候,会内置ip地址,保证在最坏的情况下,可以连通服务。那么问题来了,HTTPS直接使用HOST为ip地址的时候,是无法正确使用SSL校验安全证书的,因为证书和域名绑

程序员兼职创收的新方法 - 依托平台开发应用_eyetee的博客-程序员宝宝

现在很多程序员兼职的话,大多应该是接个项目,自己或者与人合作完成,然后收费。不过能不能以合适的价码接到项目就不是每个程序员都能做到的了。但是当互联网发展到现在之后,我认为依托平台做应用应该会成为一种新的兼职选择。 上面提到的平台现阶段主要有两种,一种是现在流行的各

黑马程序员17-6:TreeSet的Comparator比较器接口以及compareTo优化写法_kingdelee的博客-程序员宝宝

[align=center]------- [url=http://edu.csdn.net/heima]android培训 [/url]、[url=http://edu.csdn.net/heima]java培训[/url]、期待与您交流!------- [/align][code=&quot;java&quot;]package cn.itcast.p.bean;import ja...

推荐文章

热门文章

相关标签