集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:15023458194  |   联系客服   |
当前位置:主页 > 培训课程 > 人工智能 >

成都人工智能培训班:人工智能发展远远超出我们的想象

发布者: 成都达内     浏览次数:     发布时间:2019-03-21 11:35:43

自2012年以来,最大规模的人工智能训练运行所使用的计算量呈指数增长,增长了3.5个月(相比之下,摩尔定律有18个月的翻倍时间)。...

  成都人工智能培训班:人工智能发展远远超出我们的想象

  自2012年以来,最大规模的人工智能训练运行所使用的计算量呈指数增长,增长了3.5个月(相比之下,摩尔定律有18个月的翻倍时间)。自2012年以来,该指标增长了30多万倍(18个月的翻番时间仅增加12倍)。计算方面的改进一直是AI进展的一个关键组成部分,所以只要这种趋势继续下去,就值得为远远超出当今能力的系统的影响做准备。

  对数刻度线性刻度

  该图表显示了以petaflop / s-days为单位的计算总量,用于训练相对熟知的选定结果,使用大量时间计算,并提供足够的信息来估计所用的计算。每秒petaflop / p-day(pfs-day)包括每天执行10-15次神经网络操作,或者总共大约10 20次操作。计算时产品用作心理便利,类似于能源的千瓦时。我们不测量硬件的峰值理论FLOPS,而是尝试估计执行的实际操作的数量。我们将加法和乘法计算为单独的操作,我们将任何加法或乘法计算为单个操作,而不考虑数值精度(使“FLOP”略微用词不当),并忽略合奏模型。本附录提供了进入该图表的示例计算。加倍显示时间为3.43个月。

  概观

  推动人工智能发展的因素有三个:算法创新,数据(可以是监督数据或交互式环境),以及可用于培训的计算量。算法创新和数据很难追踪,但计算量是非常可量化的,提供了衡量AI进展的一个输入的机会。当然,使用大规模计算有时会暴露我们当前算法的缺点。但至少在许多现有领域中,更多的计算似乎会导致更好的性能,并且往往是对算法进步的补充。

  对于这种分析,我们认为相关数字不是单个GPU的速度,也不是最大数据中心的容量,而是用于训练单个模型的计算量-这是最有可能与如何关联的数量强大的我们最好的模型是。每个模型的计算与总体计算有很大不同,因为并行性的限制(硬件和算法)限制了模型的大小,或者可以有多少有用的训练。当然,重要的突破仍然是通过适量的计算来实现的-这一分析仅涵盖计算能力。

  这一趋势每年大约增加10倍。一部分是由定制硬件驱动的,它允许在给定的价格(GPU和TPU)下每秒执行更多的操作,但主要是由研究人员一再推动寻找并行使用更多芯片并愿意支付经济成本的方法这样做。

  成都人工智能培训班:人工智能发展远远超出我们的想象

  今朝

  我们大致可以看到四个不同的时代:

  2012年之前:对于ML使用GPU并不常见,因此很难实现图形中的任何结果。

  2012年到2014年:在许多GPU上进行培训的基础架构并不常见,因此大多数结果使用1-8个GPU,额定功率为1-2 TFLOPS,总共为0.001-0.1 pfs-days。

  2014年至2016年:大规模的结果使用了10-100 GPU,额定功率为5-10 TFLOPS,导致0.1-10 pfs天。数据并行性收益递减意味着更大规模的培训运行价值有限。

  2016年至2017年:允许更大算法并行性的方法(如大批量,体系结构搜索和专家级迭代)以及专用硬件(如TPU和更快的互连)大大增加了这些限制,至少对于某些应用程序而言。

  AlphaGoZero / AlphaZero是大规模算法并行性中最明显的公共示例,但此规模的许多其他应用程序现在在算法上可行,并且可能已经在生产环境中发生了。

  期待

  我们看到多种原因认为图表中的趋势可能会继续。许多硬件初创公司正在开发AI专用芯片,其中一些宣称他们将在未来1 - 2年内大幅增加FLOPS / Watt(与FLOPS / $相关)。简单地重新配置硬件以减少经济成本来完成相同数量的操作也可能会有收益。在并行性方面,上述许多最近的算法创新原则上可以乘法组合-例如体系结构搜索和大规模并行SGD。

  另一方面,成本最终将限制趋势的平行度,物理学将限制芯片的效率。我们认为,今天最大规模的培训采用硬件,单位数百万美元的购买成本(尽管摊销成本要低得多)。但目前大多数神经网络计算仍然用于推理(部署),而不是训练,这意味着公司可以重新调整用途或购买更多的芯片进行培训。因此,如果有足够的经济激励措施,我们可以看到更多的大规模平行培训,从而使这一趋势持续数年。全球硬件总预算为1万亿美元一年,所以绝对的限制还很遥远。总的来说,考虑到上述数据,计算指数趋势的先例,ML特定硬件的工作以及经济激励,我们认为确信这种趋势在短期内不会持续存在是错误的。

  过去的趋势不足以预测这种趋势将持续多久,或者继续下去会发生什么。但即使是能力的迅速增长的合理潜力,意味着现在就开始解决安全和恶意使用AI至关重要。预见对负责任的决策和负责任的技术发展至关重要,我们必须走在这些趋势之前,而不是对它们作出迟来的反应。

(责任编辑:范老师)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:绵阳市涪城区临园路东段68号富临大都会7栋3单元9层12号

联系电话:15023458194

公交路线:富乐路口凯德广场(10路;29路;3路;15路;11路;15a路;71路)

校区地址:成都市锦江区东大街紫东楼端35号明宇金融广场19楼1906室

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:15023458194

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:15023458194

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:15023458194

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街芷泉段229号东方广场C座16层

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都市人民南路一段86号“城市之心”大厦26楼

联系电话:15023458194

公交路线:成都市人民南路(6路;14路;42路;72路;76路;1010路;)

校区地址:成都市高新区奥克斯广场B座1708

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

2016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56