网站链接: ngui
当前位置: 首页 > 学习教程  > 编程语言

flume学习05---Spooling Directory Source

2020/11/22 21:48:58 人评论 文章标签: 思维SPOOLing共享单车论文

Spooling Directory Source 此source允许您通过将要提取的文件放入磁盘上的“spooling”目录来提取数据。此源将监视指定目录的新文件,并在新文件显示时解析新文件中的event。event解析逻辑是可插入的。在给定文件被完全读入channel之后,它被重命名以指…

Spooling Directory Source

此source允许您通过将要提取的文件放入磁盘上的“spooling”目录来提取数据。此源将监视指定目录的新文件,并在新文件显示时解析新文件中的event。event解析逻辑是可插入的。在给定文件被完全读入channel之后,它被重命名以指示完成(或可选地被删除)。

与Exec源 Source不同,此source是可靠的,并且不会丢失数据,即使Flume被重新启动或被杀死。为了换取这种可靠性,只有不可变,唯一命名的文件必须放入假脱机目录中。 Flume尝试检测这些问题条件,如果违反则会大声失败:
1.如果在放入spooling directory后写入文件,Flume会在其日志文件中打印一个错误并停止处理。
2.如果以后重新使用文件名,Flume将在其日志文件中打印一个错误并停止处理。

为了避免上述问题,向日志文件名添加唯一标识符(例如时间戳)将其移动到spooling directory中是有用的。

尽管该源的可靠性保证,仍然存在如果发生某些下游故障则event可能被复制的情况。这与其他Flume组件提供的保证一致。

#

a1.channels = ch-1
a1.sources = src-1

//source的类型为spooldir
a1.sources.src-1.type = spooldir
a1.sources.src-1.channels = ch-1
//spooling directory
a1.sources.src-1.spoolDir = /var/log/apache/flumeSpool
a1.sources.src-1.fileHeader = true

向完成的文件添一个唯一标识,默认在原来文件名添加一个.COMPLETED

这里写图片描述

本文链接: http://xiahunao.cn/news/show-845744.html

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?