hive server2源码地址在哪_0510Spark应用访问Hive报错异常分析-程序员宅基地
技术标签： hive查看表中列的信息命令 hive 修改cluster by算法 hive server2源码地址在哪
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1
故障描述
运行环境说明
1.RedHat7.2
2.CM和CDH版本为5.15.0
3.Spark1.6
问题现象
在代码中使用HiveContext对象访问Hive表ods_user(该表为Parquet格式)时发现作业报错，异常如下：
in thread 
2
问题诊断分析
报找不到cdh01.fayson.com主机，Fayson在之前对集群做过几次变更：
集群启用HA前，SparkStreaming作业使用saveAsTable在Hive中保存了ods_user表，可以正常查询及写入数据。
集群启用HA并更新NameNode URL后，Hive和Spark作业依然能够访问ods_user表。
修改集群的hostname，将cdh01.fayson.com主机名修改为cdh1.fayson.com后，Spark作业访问ods_user表失败。
1.检查Spark和Hive的配置文件，在配置文件中均为发现cdh01.fayson.com记录
经过检查集群中Spark和Hive的配置文件，未发现有cdh01.fayson.com的配置信息，排除配置文件导致的问题。
2.检查Spark作业的运行环境，也未发现相应的配置信息
在Spark作业的运行环境中也未找到cdh01.fayson.com相关的配置信息，继续分析。
3.在作业日志中可以看到，Spark访问HiveMetastore服务是成功的
既然可以正常的访问HiveMetastore服务，那再次证明Hive和Spark配置是没有问题的。
4.既然能够正常的访问HiveMetastore服务，Spark服务直接通过访问HiveMetastore服务获取ods_user的元数据信息，推测可能是ods_user表元数据存在问题，查看ods_user表建表语句确认
检查ods_user的建表语句发现，存在配置信息为cdh01.fayson.com的信息，由此推断可能是由于ods_user表中该属性导致。
3
问题解决
Fayson很清晰的记得在SparkStreaming作业中创建的ods_user表，，并未在建表语句中指定Spark SQL相关的配置参数。通过Spark官网资料找到相关信息(
http://spark.apache.org/docs/1.6.0/sql-programming-guide.html#hive-metastore-parquet-table-conversion
)，Spark在读取和写入Hive Metastore Parquet表时，会尝试使用自己的Parquet支持而不是使用Hive SerDe，从而获取更好的性能。此行为由spark.sql.hive.convertMetastoreParquet参数控制(默认为true)。那如果修改了Hive表的属性或其它外部变更(如：修改NameNode节点hostname，NameNode节点迁移等)均会导致Spark缓存的配置失效，因此这时需要手动的刷新表，以确保元数据信息一致。
1.修改ods_user表中SERDEPROPERTIES中的path属性为NameNode启用HA后的地址，命令如下；
ALTER 
可以看到path已修改为最新的HDFS访问地址
2.再次验证可以正常的访问ods_user表的数据
4
总结
1.Spark在读取和写入Hive Metastore Parquet表时，会尝试使用自己的Parquet支持而不是使用Hive SerDe，从而获取更好的性能。所以在将spark数据写入一个不存在的hive表时会在建表语句中增加spark的一些属性配置。
2.特别要注意集群在未启用HA时使用Spark生成的Hive表，在集群启用HA后可能会到Spark无法访问该表，需要修改SERDEPROPERTIES中path属性。
3.如果只是通过hive或者其他外部方式修改了Hive表的元数据信息，可以通过如下方式刷新Spark缓存的表元数据
new org.apache.spark.sql.hive.HiveContext(sc)提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
智能推荐
MQ的概念和RabbitMQ知识点（无代码）-程序员宅基地
文章浏览阅读1.2w次，点赞7次，收藏76次。MQ全称是MessageQueue(消息队列），是保存消息在传输过程中的一种容器，既是存储消息的一种中间件。多是应用在分布式系统中进行通信的第三方中间件，如下图所示，发送方成为生产者，接收方称为消费者。............_mq
如何做好Bug分析-程序员宅基地
文章浏览阅读1.5k次，点赞47次，收藏18次。Bug分析是QA的一项主要技能，需要针对项目中遇到的经典问题进行分类分析， 直达问题本质。 并且能够给团队其他项目或者成员起到典型的借鉴作用。 当然也有一些非常经典的问题可以进行技术深挖， 以供参考。 个人认为比较典型的「Bug分析」是stackoverflow， 当然， 一个完善的bug分析库， 可以进行问题分类总结。 对于测试新人是有很大的帮助的。本质上， 在测试领域很多问题是可重现可整理可规避的。另外， bug分析本身是为了拓宽每个人的认知边界， 缩小团队间的乔哈里窗以达到最佳的合作状态。一个「好的B
H5020NL PULSE 50PIN千兆四口网络变压器 HQST H85001S建议IC配置型号_4口网络变压器-程序员宅基地
文章浏览阅读800次。HQST导读：PULSE普思是网络通讯行业中龙头企业之一，其中网络变压器产品大都由国内代工厂代为生产，H5020NLHX5020NL千兆四口网络变压器是普思公司经典老牌产品，相对整个市场用量不是很大，集中生产约一月20万颗左右……PULSE普思是网络通讯行业中龙头企业之一，其中网络变压器产品大都由国内代工厂代为生产，H5020NLHX5020NL千兆四口网络变压器是普思公司经典老牌产品，相对整个市场用量不是很大，集中生产约一月20万颗左右，……PULSE H5020NL千兆网络变压器对应HQS._4口网络变压器
D20 EME 支持2k MAC地址表-程序员宅基地
文章浏览阅读242次，点赞3次，收藏9次。交换机，壳体采用镀锌钢板，结构紧凑，支持八个百兆端口，可配置一至四个百兆光纤端口。两路冗余电源设计，支持4pin可插拔端子，交直流通用，同时提供电源防接保护及过压、欠压保护，极大提升产品工作的稳定性。2.支持两路冗余电源设计，4pin可插拔端子，支持12～36V宽电压输入，交直流通用，同时提供电源防反接保护及过压、欠压保护，极大提升产品工作的稳定性。4.-40℃～75℃工作温度，-40～85℃存储温度，在极端气象条件下也能安全运行。8.支持IEEE802.3，IEEE802.3u，IEEE802.3x。
阿昌教你如何使用通义灵码-程序员宅基地
文章浏览阅读946次。Hi，我是阿昌，今天教你如何使用通义灵码。_通义灵码
老版本NDK下载列表（Android官网）_ndk 老颁布-程序员宅基地
文章浏览阅读2.3w次。我们在开发或编译旧版本NDK项目时，需要使用一些老版本的NDK，在这里提供了旧版NDK的列表及下载链接_ndk 老颁布
随便推点
网关、安全网关？与防火墙的区别(2)，网络安全多线程断点续传-程序员宅基地
文章浏览阅读640次，点赞6次，收藏18次。网关是一个大的概念，没有特指是什么设备，很多设备都可以做网关，普通的PC机也能做，常用的网关设备是路由器。网关的作用主要是用来连接两个不同的网络，比如可以连接两个IP地址不相同的网络，或连接两个操作系统不同的网络，如WINDOWS与LINUX互连，或连接两个网络协议不同的网络，如TCP/IP与IPX.或拓扑结构不同的网络，如以太网和令牌环网。总之网关是一种中间媒介。而防火墙也可以做网关，但它的主要做用只是用来防病毒或防黑客，网关只算是防火墙的一个功能。网关与防火墙的区别。
解决：ModuleNotFoundError: No module named ‘pymysql’_modulenotfounderror: no module named 'pymysql-程序员宅基地
文章浏览阅读4.1k次，点赞42次，收藏34次。背景在使用之前的代码时，报错： Traceback (most recent call last): File "xxx", line xx, in import pymysql ModuleNotFoundError: No module named 'pymysql'翻译：```追溯（最近一次通话）：文件“xxx”，第xx行，在导入pymysqlModuleNotFoundError:没有名为“pymysql”的模块```原因 ......_modulenotfounderror: no module named 'pymysql
android读取生成excel,Android创建与读取Excel-程序员宅基地
文章浏览阅读275次。1 import java.io.File;23 import java.io.IOException;45 import java.util.Locale;6789 import jxl.CellView;1011 import jxl.Workbook;1213 import jxl.WorkbookSettings;1415 import jxl.format.UnderlineStyle;..._android excel生成读取类
VS2015离线安装 安装包损坏或丢失_vs2015离线版csdn-程序员宅基地
文章浏览阅读4.3w次，点赞16次，收藏126次。1、去微软官网下载完成ISO镜像，最好不要在线安装，打开官方链接 https://www.visualstudio.com/zh-cn/downloads/download-visual-studio-vs.aspx按下图操作：2、用虚拟光驱加载，或者直接右键解压。在安装前，先安装两个证书。亲测，安装后，减少了很多“安装包损坏或丢失”的现象。两证书下载地址链接: https:/..._vs2015离线版csdn
解决vue中安装postcss-pxtorem插件，报错“ Error: PostCSS plugin postcss-pxtorem requires PostCSS 8.”_error: postcss plugin postcss-import requires post-程序员宅基地
文章浏览阅读2k次，点赞4次，收藏3次。目前 postcss-pxtorem 版本最高6.0.0,报这个错是因为插件版本太高，降成5.1.1可解决这个报错解决方法：分两步1.执行npm uninstall post-pxtorem2.执行npm i [email protected]_error: postcss plugin postcss-import requires postcss 8.
Linux-ARM开发_linux arm开发-程序员宅基地
文章浏览阅读787次。Linux-ARM开发_linux arm开发