集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:400-111-8989  |   联系客服   |
当前位置:主页 > 培训课程 > 大数据 >

成都大数据培训机构哪家好?hadoop集群的文件配置

发布者: 成都达内     浏览次数:     发布时间:2020-09-10 11:55:33

成都大数据培训机构哪家好?hadoop集群的文件配置——hadoop的文件配置可以概括为4+3+1!4即是core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml。...

  hadoop的文件配置可以概括为4+3+1!

  4即是core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml。3是hadoop-env.sh,yarn-env.sh,mapred-env.sh。1则是slaves文件。共8个文件。

  1core-site.xml文件:因为hadoop默认设置数据是放在/tmp上面的,但是linux /tmp目录的文件见名知意的会被删除,所以hadoop.tmp.dir必须要改;fs.defaultFS指定代码访问集群的节点和端口,因为设计自己的ip问题,所以也必须改

  成都大数据培训机构哪家好?hadoop集群的文件配置

  2hdfs-site.xml文件:dfs.replication设置集群文件的副本数,副本数应该小于等于节点数,3个节点可以满足一般安全性;dfs.namenode.secondary.http-address指定secondarynamenode节点,可以辅助namenode,值得分配节点。

  成都大数据培训机构哪家好?hadoop集群的文件配置

  3yarn-site.xml文件:yarn.nodemanager.aux-services指定mapreduce_shuffle方式;yarn.resourcemanager.hostname指定yarn的主机,肯定要分配的,注:yarn的web端口默认为8088,在这里url为http://slave1:8088

  成都大数据培训机构哪家好?hadoop集群的文件配置

  4mapred-site.xml文件:mapreduce.framework.name指定mapreduce运行在yarn上面,yarn作为大数据集群调度框架可以协调hadoop、spark等,还是很重要的。注:这个文件需要从mapred-site.xml.template文件复制成mapred-site.xml文件。

  成都大数据培训机构哪家好?hadoop集群的文件配置

  5hadoop-env.sh、6yarn-env.sh、7mapred-env.sh文件都是修改JAVA_HOME路径,理论来说在linux上面环境变量JAVA_HOME设置后,hadoop是能获取的java路径的,但是实际hadoop可能获取不到,所以为了集群的独立性建议直接指定这些文件的JAVA_HOME路径,可以使用vim编辑器使用/JAVA_HOME搜索,将路径直接写在文件里面。

  8slaves文件,这个文件主要是控制集群启动集群时命令通过访问这个文件启动对应虚拟机的hadoop进程。为了方便集群启动命令,也是要写上的。

  将hadoop压缩包解压后,配置完4+3+1文件,就可以执行sbin/hadoop namenode -format命令格式化namenode信息,然后执行sbin/start-dfs.sh启动hdfs集群(namenode和datanode,SecondaryNamenode),在yarn所在的机器上执行sbin/start-yarn.sh命令启动yarn集群(resourcemanager和nodemanager)。

  备注:namenode web端口时50070,yarn web端口时8088.

(责任编辑:范老师)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:成都市锦江区东大街紫东楼端35号明宇金融广场19楼1906室

联系电话:400-111-8989

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:400-111-8989

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:400-111-8989

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:400-111-8989

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:400-111-8989

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街芷泉段229号东方广场C座16层

联系电话:400-111-8989

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:400-111-8989

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

2016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56 蜀ICP备18021046号-3