集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:15023458194  |   联系客服   |
当前位置:主页 > 培训课程 > 大数据 >

成都大数据培训:大数据开源框架Hadoop HDFS

发布者: 成都达内     浏览次数:     发布时间:2017-04-19 17:16:23

大数据开源框架有很多,比如Hadoop HDFS、Tachyon、KFS、Hadoop MapReduce、Spark等,不同任务用到的开源框架不同,本文为你介绍大数据开源框架Hadoop那些事。...

  大数据开源框架有很多,比如Hadoop HDFS、Tachyon、KFS、Hadoop MapReduce、Spark等,不同任务用到的开源框架不同,本文为你介绍大数据开源框架Hadoop那些事。

  1.1 学会百度与Google

  不论遇到什么问题,先试试搜索并自己解决。

  Google首选,翻不过去的,就用百度吧。

  1.2 参考资料首选官方文档

  特别是对于入门来说,官方文档永远是首选文档。

  相信搞这块的大多是文化人,英文凑合就行,实在看不下去的,请参考第一步。

  1.3 先让Hadoop跑起来

  Hadoop可以算是大数据存储和计算的开山鼻祖,现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

  关于Hadoop,你至少需要搞清楚以下是什么:

  Hadoop 1.0、Hadoop 2.0

  MapReduce、HDFS

  NameNode、DataNode

  JobTracker、TaskTracker

  Yarn、ResourceManager、NodeManager

  自己搭建Hadoop,请使用第一步和第二步,能让它跑起来就行。

  建议先使用安装包命令行安装,不要使用管理工具安装。

  另外:Hadoop1.0知道它就行了,现在都用Hadoop 2.0.

  1.4 试试使用Hadoop

  HDFS目录操作命令;

  上传、下载文件命令;

  提交运行MapReduce示例程序;

  打开Hadoop WEB界面,查看Job运行状态,查看Job运行日志。

  知道Hadoop的系统日志在哪里。

  1.5 你该了解它们的原理了

  MapReduce:如何分而治之;

  HDFS:数据到底在哪里,什么是副本;

  Yarn到底是什么,它能干什么;

  NameNode到底在干些什么;

  ResourceManager到底在干些什么;

  1.6 自己写一个MapReduce程序

  请仿照WordCount例子,自己写一个(照抄也行)WordCount程序,

  打包并提交到Hadoop运行。

  你不会Java?Shell、Python都可以,有个东西叫Hadoop Streaming。

  如果你认真完成了以上几步,恭喜你,你的一只脚已经进来了。

  成都it培训哪家好,当然是成都达内培训,成都达内是一家专业的程序员培训机构,专注于成都嵌入式培训,成都web前端培训,成都.NET培训,成都大数据培训,成都会计实操培训,成都IT培训,成都编程培训等IT培训,专业的成都软件培训机构,专业师资授课,真实项目实战、零首付、低押金、名企就业。

(责任编辑:成都达内)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:绵阳市涪城区临园路东段68号富临大都会7栋3单元9层12号

联系电话:15023458194

公交路线:富乐路口凯德广场(10路;29路;3路;15路;11路;15a路;71路)

校区地址:成都市锦江区东大街紫东楼段35号明宇金融广场19楼1903室

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:15023458194

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:15023458194

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:15023458194

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街紫东段35号明宇广场2306

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都市成华区建设路10号万科钻石广场B座5楼

联系电话:15023458194

公交路线:建设路中(6路;14路;42路;72路;76路;1010路;)

校区地址:成都市高新区奥克斯广场B座1708

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

20016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56