热点:

    英特尔Analytics Zoo助企业打造数据分析流水线

      [  中关村在线 原创  ]   作者:鲁畅

      把大象装冰箱分几步?把技术落地应用、输出价值又要分几步?那这几步又该由谁来做?

      随着开源概念在技术领域逐渐得到认可,一个技术从产生,到丰富,到落地应用不再拘泥于原来的生态链条。任何人都可以在开源技术的基础上进行二次加工,形成属于自己的技术,再产出价值。英特尔BigDL在Apache Spark上面构建的分布式深度学习框架,能够帮助用户更加方便地在大数据平台上开发新的深度学习的应用。

      在CCF-GAIR全球人工智能与机器人峰会上,英特尔高级首席工程师、大数据技术全球CTO戴金权,介绍了英特尔端到端、全栈式人工智能解决方案和英特尔开发并开源的基于Apache Spark和BigDL的“大数据分析+AI”平台Analytics Zoo。

      数据爆发后的三大AI趋势

      网络、计算的发展带来最直接的信息层反馈是:数据洪流来袭。面对从人联网到物联网,再到物与物相连产生的巨量数据爆发,科技的力量越来越强大,人们的生活方式发生了改变。数据爆发为AI带来了改变。

    英特尔Analytics Zoo助企业打造数据分析流水线
    英特尔高级首席工程师、大数据技术全球CTO戴金权

      在戴金权的主题演讲中,提到了三大技术应用趋势:第一个趋势就是数据规模扩展,推动了深度学习发展;第二个重要的趋势就是Hadoop成为了“数据重力中心”(Center of Data Gravity);第三个趋势是工业级机器学习/深度学习系统,是复杂的大数据分析流水线。

      相关数据显示,到2020年,全球数字宇宙将会膨胀到40000EB。而我们能从今天的数据存储市场发展看到,互联网、医疗健康、通信、公共安全以及军工等行业的数据呈现明显的上升态势。这些大量数据的出现无疑会推动AI和深度学习技术的发展,我们可以利用这样大规模的数据,进行不断来提高模型的效率和有效性,推动深度学习发展。

      值得一提的是,我们大多只注意到了工厂生产的数据,却没有注意到从对工厂散落数据的收集、清洗、提取、分析等一系列操作,其实也是一个流水线般的操作流程。特别是在处理大规模、分布式系统的时候这种趋势尤为明显。而英特尔就是通过端到端、全栈式人工智能解决方案帮助企业实现这种大数据分析流水线的建立。

      Analytics Zoo:不只搭积木

      Apache Spark是今天在大数据分析业最领先、使用最广泛的大数据分析的框架,它里面有非常多的不同的组件,BigDL是一个面向Apache Spark的分布式深度学习框架。英特尔在Apache Spark上面又构建了BigDL这样一个分布式深度学习的框架,它是Spark上一个标准的组件,能够和这些大数据、生态系统里面的不同的分析、处理的组件非常好地整合在一起。

      我们也可以简单地将BigDL理解为标准化的积木,用户可以利用积木搭建出自己想要的航空母舰。

      这次笔者发现,英特尔要做的绝不只是让用户搭积木,而是更进一步,制定一些组件,让用户在打造航空母舰时更快捷、方便。即在Apache Spark和BigDL的基础上又构建了一个大数据分析+AI的平台Analytics Zoo。

      戴金权表示:Analytics Zoo是Spark和BigDL上的扩充,目的是方便用户开发基于大数据、端到端的深度学习应用。Analytics Zoo也是对Model Zoo的扩充,能够提供更高级别的数据分析,加上AI,形成一个端到端的平台,使用户可以更方便的构建端到端的大数据加上深度学习的应用。

      据了解,从AWS到阿里云等等,使用者都可以通过不同的方式使用到基于BigDL和Analytics Zoo的技术。Analytics Zoo可以称之为对BigDL的再一次赋能,而通过这种开源的方式,也使得应用于技术的距离更近了。

      最后,当笔者问及当今国内外AI开源趋势时,戴金权表示:今天一个很大很好的趋势就是我把我已经训练好的,能够得到非常好的效果模型开放出来,别人可以在这基础上做迁移学习。这是一个非常重要的趋势,不管是中国还是国外,在AI上的开源已经成为一个比较重要的趋势。

    本文属于原创文章,如若转载,请注明来源:英特尔Analytics Zoo助企业打造数据分析流水线http://smartcity.zol.com.cn/692/6928136.html

    smartcity.zol.com.cn true http://smartcity.zol.com.cn/692/6928136.html report 3004   把大象装冰箱分几步?把技术落地应用、输出价值又要分几步?那这几步又该由谁来做?  随着开源概念在技术领域逐渐得到认可,一个技术从产生,到丰富,到落地应用不再拘泥于原来的生态链条。任何人都可以在开源技术的基础上进行二次加工,形成属于自己的技术,再产...
    • 猜你喜欢
    • 最新
    • 相关
    推荐经销商
    投诉欺诈商家: 400-688-1999
    • 北京
    • 上海
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品