Flume使用之监听单个文件内容
发布日期:2021-09-27 12:34:36
浏览次数:2
分类:技术文章
本文共 1046 字,大约阅读时间需要 3 分钟。
监听单个文件,source要指定为exec
缺陷:
如果执行flume采集过程中,该agent意外结束,重新启动时会再次读取文件内容到指定目录。造成数据重复。# 定义agent名字 a1# 定义sources、channels、sinks 都可以有多个,空格隔开a1.sources = r1a1.channels = c1a1.sinks = k1# 设置sourcea1.sources.r1.type = exec# source要执行的命令 监控的文件a1.sources.r1.command = tail -F /opt/module/flume/demo/test1.log# 设置channela1.channels.c1.type = memorya1.channels.c1.capacity = 1000# 设置sinka1.sinks.k1.type = hdfs# 设置hdfs目录a1.sinks.k1.hdfs.path = hdfs://hadoop01:8020/flume/logs/%Y-%m-%d/%H# 设置启用本地时间戳,否则上面的时间序列无法使用a1.sinks.k1.hdfs.useLocalTimeStamp = true# 设置按照时间滚动文件夹a1.sinks.k1.hdfs.round = true# 设置创建文件夹时间a1.sinks.k1.hdfs.roundValue = 1# 重新定义时间单位a1.sinks.k1.hdfs.roundUnit = hour# 设置文件前缀a1.sinks.k1.hdfs.filePrefix = logs-# 设置文件滚动时间(秒)a1.sinks.k1.hdfs.rollInterval = 60# 设置文件滚动大小(字节) 约128Ma1.sinks.k1.hdfs.rollSize = 134217700# 设置文件滚动需要的Event数量 0表示不启用a1.sinks.k1.hdfs.rollCount = 0# 设置Event刷新到hdfs数量a1.sinks.k1.hdfs.batchSize = 100# 设置存储文件类型,支持压缩a1.sinks.k1.hdfs.fileType = DataStream# 绑定source、channel、sinka1.sources.r1.channels = c1a1.sinks.k1.channel = c1
转载地址:https://blog.csdn.net/FlatTiger/article/details/113983871 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
初次前来,多多关照!
[***.217.46.12]2024年04月07日 17时50分21秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
【Alljoyn】 Alljoyn学习笔记七 Alljoyn瘦客户端库介绍
2019-04-26
【Android】Activity生命周期
2019-04-26
【Android】Activity的四种launchMode
2019-04-26
【Android】Activity的task相关
2019-04-26
【Android】 Intent应用详解
2019-04-26
【Android】 Intent详解
2019-04-26
【Android】 常用的Intent
2019-04-26
Android中AsyncTask的简单用法
2019-04-26
【Android】 Android中Log调试详解
2019-04-26
【Android】Android中WIFI开发总结(一)
2019-04-26
【Android】Android中WIFI开发总结(二)
2019-04-26
【Android】Android之WiFi开发应用示例
2019-04-26
【Android】 Android adb常见问题整理
2019-04-26
【Android】 Android体系结构图
2019-04-26
【Android】 Android中spinner下拉列表的使用
2019-04-26
说说在 python 中,如何删除左右两边不需要的字符
2019-04-26
说说如何管理 Spring Boot 中的起步依赖
2019-04-26
说说如何在 Linux 中,新建账号
2019-04-26
说说如何在 linux 中搭建 FTP 服务
2019-04-26
说说如何在 Python 的正则表达式中使用分组
2019-04-26