集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:15023458194  |   联系客服   |
当前位置:主页 > 培训课程 > 大数据 >

成都大数据培训教程:初识Flink

发布者: 成都达内     浏览次数:     发布时间:2019-04-18 11:10:11

Apache Flink是一个用于对无界和有界数据流进行状态计算的框架和分布式处理引擎,它同时支持批处理和流处理,作为流处理看待时输入数据流是无界的,批处理被作为一种特殊的流处理...

  成都大数据培训教程:初识Flink

  本文主要是简单介绍一下Flink基础信息,更多有关Flink的介绍可以查看官方文档。

  Flink是什么

  Apache Flink® - Stateful Computations over Data Streams

  Apache Flink是一个用于对无界和有界数据流进行状态计算的框架和分布式处理引擎,它同时支持批处理和流处理,作为流处理看待时输入数据流是无界的,批处理被作为一种特殊的流处理。

  架构原理

  成都大数据培训教程:初识Flink

  Flink集群启动后,首先会启动一个JobManger和一个或多个TaskManager。由Client提交任务给JobManager,JobManager再调度任务到各个TaskManager去执行,然后TaskManager将心跳和统计信息汇报给JobManager。TaskManager之间以流的形式进行数据的传输。JobManager、TaskManager和Client均为独立的JVM进程。

  JobManager

  系统的协调者,负责接收Job,调度组成Job的多个Task的执行,收集Job的状态信息,管理Flink集群中的TaskManager。

  TaskManager

  实际负责执行计算的Worker,并负责管理其所在节点的资源信息,在启动的时候将资源的状态向JobManager汇报。

  Client

  负责提交Job,可以运行在任何与JobManager环境连通的机器上,提交Job后,Client可以结束进程,也可以不结束并等待结果返回。

  编程模型

  Flink程序的基础构建模块是流和转换,每一个数据流都起始于一个或多个source,终止于一个或多个sink。

  Flink程序的基础构建模块是流(streams)与转换(transformations),每一个数据流起始于一个或多个source,并终止于一个或多个sink,下面是一个由Flink程序映射为Streaming Dataflow的示意图:

  成都大数据培训教程:初识Flink

  public static void main(String[] args) throws Exception {

  // 创建数据流执行环境

  StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

  // 通过连接socket获取输入数据

  DataStream text = env.socketTextStream("localhost", 9009, "\n");

  // 解析数据

  DataStream> windowCounts = text

  .flatMap(new FlatMapFunction>() {

  @Override

  public void flatMap(String value, Collector> out) {

  for (String word : value.split("\\s")) {

  out.collect(Tuple2.of(word, 1));

  }

  }

  })

  .keyBy(0)

  .timeWindow(Time.seconds(5))

  .sum(1);

  // 将结果打印到控制台

  windowCounts.print();

  env.execute("Socket Window WordCount");

  }

  适用场景

  Flink支持的最常见类型的应用示例

  事件驱动的应用程序

  数据分析应用

  数据管道应用

  容错机制

  Flink的容错机制的核心部分是分布式数据流和运营商状态的一致快照,系统发生故障的时候这些快照可以充当一致性检查点来退回,恢复作业的状态和计算位置等。

  Checkpointing

  Recovery

  Operator Snapshot Implementation

  详情参考Data Streaming Fault Tolerance

(责任编辑:范老师)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:绵阳市涪城区临园路东段68号富临大都会7栋3单元9层12号

联系电话:15023458194

公交路线:富乐路口凯德广场(10路;29路;3路;15路;11路;15a路;71路)

校区地址:成都市锦江区东大街紫东楼端35号明宇金融广场19楼1906室

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:15023458194

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:15023458194

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:15023458194

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街芷泉段229号东方广场C座16层

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都市人民南路一段86号“城市之心”大厦26楼

联系电话:15023458194

公交路线:成都市人民南路(6路;14路;42路;72路;76路;1010路;)

校区地址:成都市高新区奥克斯广场B座1708

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

2016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56