框架、平台和智能应用(大数据创新在中国的重点和未来)
发布日期:2021-11-09 06:55:47 浏览次数:15 分类:技术文章

本文共 1675 字,大约阅读时间需要 5 分钟。

首次Strata+Hadoop World(SHW)北京大会在2016年8月初成功召开,好评如潮。我们的愿景是:通过一个大会来展现大数据和数据科学领域在中国以及全球的趋势与方向。非常多有意思的创新点在大会的60多个议题演讲和主题演讲中涌现。

在过去的几年中,我见证了中国很多公司已经成为早期的和重要的Apache Spark的贡献者。而Spark作为一个分布式的数据处理框架,已经成为最活跃的大数据开源项目。那些持续跟踪数据科学和大数据的人士,应该能敏锐地认识到来自中国的公司正在持续地把类似Spark这样的技术的极限推进到更大的规模,而这样的规模在其他国家是无法见到的。我非常高兴终于能与中国本土的数据社区见面,并能够创造机会让中国的技术专家和来自世界各地的专家交流思想。

应用

SHW不仅仅是一个学习框架、平台和技术的场合,我们也希望能集中展示多个领域的多种应用。我们提供了数据在金融、安全、电子商务和社交媒体、交通运输和物流、通信和移动计算、制造业、教育和公共服务等领域的应用案例。

数据科学和人工智能

在本次大会的众多议题中最热的话题就是大规模的机器学习和人工智能(AI)应用与技术。实际动手的培训课程涵盖了很多与之相关的主题,包括TensorFlow、MLlib;Petuum和DL4J这样的框架;多个领域内的创新,如金融领域(蚂蚁金服和宜人贷);无人驾驶汽车(百度)、对话机器人和对话接口(微软);知识数据库和知识图谱。讲师们介绍了很多具体的方法(如深度学习)和框架,并带领大家探讨了如何采用分布式机器学习和人工智能技术并进行产品化。Datavisor的CEO(谢映莲)介绍了一个新颖的基于Apache Spark的平台,可以利用大规模无监督机器学习技术来进行欺诈检测。

框架和平台

对现在的数据工程师而言能熟练使用多种技术是一个基本的工作技能。参加实践课程的学员都能够与一些重要的开源技术的创始人交流。这些技术包括Hadoop、Spark、TensoFlow、Kylin、Druid、Alluxio、Heron、DistributedLog和DL4J。

而SHW的另外一部分,各种活动和议题演讲则涵盖了解决方案架构的最佳实践。那些把独立的部分组合成一个有序的应用平台的架构设计分享则成为大会的另外一大热点。包括小米、滴滴出行、推特、优步、百度、阿里巴巴、京东和华为在内的多家公司都概略性地介绍了他们的数据平台的不同方面,以及一些具体的应用案例。

大会的议题部分也较好地涵盖了基于云的平台、技术和解决方案。

智能、实时的应用

来自小米和海尔的演讲人介绍了关于物联网、实时计算技术、工业制造和智能家居的应用。其他的演讲人则对与金融、安全、电子商务和社交媒体相关的应用进行了介绍。除了行业应用以外,其他的议题演讲也涵盖了构建流计算应用的多个技术方面,比如使用诸如Spark、Apache Beam、Durid、Alluxio、Heron和DistribuedLog等技术来构建流计算应用。

创造全球思想碰撞的平台

我想特别强调的是,本次大会实现了与中国的本土开发社区的积极合作,创造了一个让中国的技术专家和来自全球的专业人士之间进行思想碰撞的平台。这也反映了主办SHW的一个核心愿景,即构建一个让大数据、数据科学和人工智能技术领域的实践者、用户和企业进行广泛交流的社区。

一些分布式计算技术的最大规模的生产级部署是在中国发生的。本次大会的与会者表达出了对于来自这些中国公司的演讲的极大兴趣。同时一些中国的与会者也告诉我,他们非常高兴能有机会倾听国外技术专家的分享。随着SHW北京的成功举办,我们期待着一个跨越中国国界的数据社区的自然形成。

本·罗瑞卡(Ben Lorica)

本· 罗瑞卡是O'Reilly的首席数据科学家和关于数据方面的内容策略主管。在多个领域里(包括直销市场、消费者和市场研究、精准广告、文本挖掘和金融工程),他曾经进行了商业智能、数据挖掘、机器学习和统计分析的工作。他层效力于投资管理公司、互联网创业企业和金融服务公司。

转载地址:https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/78100500 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Strata + Hadoop World 北京大会-主题演讲精彩继续
下一篇:人机协作是如何自动化分类数据

发表评论

最新留言

路过,博主的博客真漂亮。。
[***.116.15.85]2024年03月22日 00时10分21秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

java线程占用CPU_在windows下揪出java程序占用cpu很高的线程并完美解决 2019-04-21
java多态替换switch_使多态性无法解决那些switch / case语句的麻烦 2021-06-24
java httpclient 进度条_如何使用Apache HttpClient 4获取文件上传的进度条? 2021-06-24
下列不属于java语言特点的是_下列选项中,不属于Java语言特点的一项是( )。... 2021-06-24
java中小数的乘法_javascript的小数点乘法除法实例 2021-06-24
kappa一致性检验教程_SPSS在线_SPSSAU_Kappa一致性检验 2021-06-24
linux shell mysql备份_linux shell 备份mysql 数据库 2021-06-24
Java双向链表时间复杂度_链表是什么?有多少种链表?时间复杂度是? 2019-04-21
unity3d能和java系统整合吗_Android与Unity3d的整合 2019-04-21
minecraft666java_我的世界的666的世界 2019-04-21
辽宁师范大学java_辽宁师范大学心理学院 2019-04-21
java程序有连接数据库_Java程序连接数据库 2019-04-21
java reduce.mdn_reduce高级用法 2019-04-21
java shape用法_Java PShape.scale方法代码示例 2019-04-21
java字符串三目_java字符串连接运算符和三目运算符 2019-04-21
java 堆内存 非堆内存_JVM 堆内存和非堆内存 2019-04-21
Java新手写什么demo_通过入门demo简单了解netty使用方法 2019-04-21
java国际化bundle_java语言国际化--ResouceBundle、struts 2019-04-21
java图片延迟加载_jQuery实现图片延迟加载 2019-04-21
java开发加入购物车功能_java web开发——购物车功能实现 2019-04-21