Spark实时计算的开发平台RCS——阿里流式分析实战
发布日期:2021-11-09 06:55:56 浏览次数:13 分类:技术文章

本文共 415 字,大约阅读时间需要 1 分钟。

Spark开发者会将自己的代码完成开发并提交到yarn集群,之后任务的监控、报警、性能优化等都依赖于开发者本身;为spark开发者提供一套可以完成任务提交、数据接入、任务监控、任务报警、错误日志查看的一体化实时计算的开发平台realtime computing service。通过平台可以:

1. 自助本地提交任务;jar包版本维护在hdfs上

2. 数据接入覆盖主流中间件:kafka、metaq、tt和sls

3. 任务的监控、报警、日志处理

4. spark任务容灾

5. spark集群容灾

朱金清(穆公) 阿里巴巴高级数据专家,目前在阿里从事infrastructure数据的分析和开发工作,专注于spark的实时计算分析;最早加入阿里在淘宝/阿里数据库技术团队从事MySQL/HBase数据库的管理和数据开发. 他将在大会上分享这一演讲议题。

长按二维码识别关注

阅读原文( read more ) 浏览更多演讲议题

转载地址:https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/78100520 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:深度学习的TensorFlow实现
下一篇:Hadoop虚拟化

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2024年03月28日 20时11分07秒