集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:400-111-8989  |   联系客服   |
当前位置:主页 > 培训课程 > 大数据 >

[成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0

发布者: 成都达内     浏览次数:     发布时间:2020-09-23 10:38:15

[成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0,升级目的:为上层开发,提供统一元数据服务并能通过hive操作kudu表,kylin可以通过hive对在kudu中的数据做分析...

  升级目的:为上层开发,提供统一元数据服务并能通过hive操作kudu表,kylin可以通过hive对在kudu中的数据做分析

  面临问题:hive4.0之前hive没有KuduStorageHandler机制,需要hive和kudu整合功能而升级,但是github上官方开源的代码看该模块代码没完成。所以需要自己提供实现或等官方发布,为了满足当下需求,羚羊选择了自己实现

  1、备份原元数据

  mysqldump -uroot -pxxxxxx metastore > ./metastore.sql

  2、解压备好的hive安装包

  cd /opt/cloudera

  tar -xvf apache-hive-4.0.0-SNAPSHOT-bin.tar.gz

  [成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0

  3、原hive安装目录下创建lib400目录

  cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive

  mkdir lib400

  [成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0

  4、拷贝hive新版本lib到lib400目录下(只替换hive开头的jar包,其他jar包不要替换,其中hive-exec-2.1.1-cdh6.3.2.jar不要换)

  1cp -r /opt/cloudera/apache-hive-4.0.0-SNAPSHOT-bin/lib/* /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib400

  5、CM中停掉hive,及hive相关的服务

  [成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0

  6、 修改hive启动文件,调用lib400的jar包

  1vim /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin/hive

  /HIVE_LIB

  [成都大数据培训哪里比较好]CDH6.3.2升级Hive到4.0.0

  同步lib和hive脚本文件到所有节点

  scp -P41121 -r lib400/ hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/

  scp -P41121 -r hive hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin

  7、各节点创建软链接

  ln -s /opt/cloudera/parcels/CDH/lib/hive/lib400/jline-2.14.6.jar /opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/jline-2.12.jar

  升级元数据库 metastore到hive4.0.0

  source /data/metastore-backup/mysql/upgrade-2.1.0-to-2.2.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-2.2.0-to-2.3.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-2.3.0-to-3.0.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-3.0.0-to-3.1.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-3.1.0-to-3.2.0.mysql.sql

  source /data/metastore-backup/mysql/upgrade-3.2.0-to-4.0.0.mysql.sql

  7、CM中再启动hive

  8、查看hive版本

  hive -version

(责任编辑:范老师)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:成都市锦江区东大街紫东楼端35号明宇金融广场19楼1906室

联系电话:400-111-8989

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:400-111-8989

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:400-111-8989

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:400-111-8989

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:400-111-8989

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街芷泉段229号东方广场C座16层

联系电话:400-111-8989

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:400-111-8989

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

2016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56 蜀ICP备18021046号-3