Storm概念学习系列之并行度与如何提高storm的并行度
发布日期:2021-09-08 15:09:02
浏览次数:7
分类:技术文章
本文共 632 字,大约阅读时间需要 2 分钟。
对于storm来说,并行度的概念非常重要!大家一定要好好理解和消化。
storm的并行度,可以简单的理解为多线程。
如何提高storm的并行度?storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bolt)。
那这些task实例是需要在线程(executor)里面运行的,而线程是需要在进程(worker)里面执行的。
这些,都是可以在代码中控制的到。
1、所以想要提高storm的处理能力,最直接的就是提高executor线程的并行度。
2、提高worker的数量有什么好处呢?
可以间接提高storm的处理能力,因为一个worker进程的处理能力是有限的,如果线程太多了,是需要使用多个进程的,否则,多线程的效率也不高。假设一个进程里面运行10个线程效率最高,如果你把100个线程都在一个进程里面运行。
3、提高task的数量有什么好处呢?
因为线程内部不能并行处理,所以就算提高线程内部的task的数量,也不能提高storm的并行度。 它的好处是,可以方便后期执行storm的rebalance(弹性计算) 【因为当一个storm程序提交之后,这个程序中的task数目就不会再变了】
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7247412.html,如需转载请自行联系原作者
转载地址:https://blog.csdn.net/weixin_34326429/article/details/90127975 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
关注你微信了!
[***.104.42.241]2024年03月29日 09时51分39秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
CentOS6.5配置代理上网
2021-06-30
学而不思则惘
2021-06-30
CentOS6.5下用Git克隆代码(https方式)
2021-06-30
CoffeeScript里的字符串插值
2021-06-30
Linux下查看history里的某种命令
2021-06-30
nodejs下cannot post错误
2021-06-30
coffeescript的上下文
2021-06-30
CoffeeScript的缩进
2021-06-30
nodejs初步
2021-06-30
导论2
2021-06-30
操作系统学习笔记二 操作系统结构
2021-06-30
页面加载,主体先行
2021-06-30
easyUI 动态添加窗体
2021-06-30
easyUI 对话框的关闭事件
2021-06-30
JSON参数
2021-06-30
C#下JSON字符串的反序列化
2021-06-30
Linq入门
2021-06-30
javascript下获取guid或者UTC时间作为唯一值
2021-06-30
jeasyUI的treegrid批量删除多行
2021-06-30
jeasyUI treegrid 的 reload 和 getChanges
2021-06-30