Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比

章节内容

上一节完成了如下的内容：

  • 编写Agent Conf配置文件
  • 收集Hive数据
  • 汇聚到HDFS中
  • 测试效果

背景介绍

这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。
之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。

  • 2C4G 编号 h121
  • 2C4G 编号 h122
  • 2C2G 编号 h123

在这里插入图片描述

文档推荐

除了官方文档以外，这里有一个写的很好的中文文档：
https://flume.liyifeng.org/

监控目录

业务需求

  • 想要监控指定目录 收集信息并上传到HDFS中

Source

选择 spooldir，因为 spooldir 能够保证数据不丢失，且能够进行断点续传，但是延迟较高，不能实时监控。

Channel

选择 memory

Sink

选择 HDFS

需要注意

  • 拷贝到 spool 目录下的文件 不可以再打开编辑
  • 无法监控子目录的文件夹变动
  • 被监控文件夹每500毫秒 扫描一次文件变动
  • 适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步

配置文件

cd /opt/wzk/flume_test
vim flume_spooldir-hdfs.conf

我们需要写入如下内容

# Name the components on this agent
a3.sources = r3
a3.channels = c3
a3.sinks = k3
# Describe/configure the source
a3.sources.r3.type = spooldir
# 注意这里的文件夹 换成自己的！！！
a3.sources.r3.spoolDir = /opt/wzk/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true# 忽略以.tmp结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 10000
a3.channels.c3.transactionCapacity = 500
# Describe the sink
a3.sinks.k3.type = hdfs
# 注意修改成你自己的IP!!!
a3.sinks.k3.hdfs.path = hdfs://h121.wzk.icu:9000/flume/upload/%Y%m%d/%H%M# 上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
# 是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
# 积攒500个Event，flush到HDFS一次
a3.sinks.k3.hdfs.batchSize = 500
# 设置文件类型
a3.sinks.k3.hdfs.fileType = DataStream
# 60秒滚动一次
a3.sinks.k3.hdfs.rollInterval = 60
# 128M滚动一次
a3.sinks.k3.hdfs.rollSize = 134217700
# 文件滚动与event数量无关
a3.sinks.k3.hdfs.rollCount = 0
# 最小冗余数
a3.sinks.k3.hdfs.minBlockReplicas = 1# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

启动Agent

$FLUME_HOME/bin/flume-ng agent --name a3 \
--conf-file flume-spooldir-hdfs.conf \
-Dflume.root.logger=INFO,console

在这里插入图片描述

测试效果

Flume

cd /opt/wzk/upload
vim 1.txt

随便向其中写入一些内容，并保存，可以看到Flume已经有反应了。
在这里插入图片描述

HDFS

查看HDFS，也已经有内容了
在这里插入图片描述

采集双写

这里业务上需要：

  • Flume将数据写入本地
  • Flume将数据写入HDFS

分析实现

  • 需要多个Agent级联实现
  • Source选择taildir
  • Channel选择memory
  • 最终的Sink分别选择HDFS，file_roll

在这里插入图片描述

配置文件1

配置文件包含如下内容：

  • 1个 taildir source
  • 2个 memory channel
  • 2个 avro sink

新建文件

vim flume-taildir-avro.conf

写入如下内容

# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 将数据流复制给所有channel
a1.sources.r1.selector.type = replicating
# source
a1.sources.r1.type = taildir
# 记录每个文件最新消费位置
a1.sources.r1.positionFile = /root/flume/taildir_position.json
a1.sources.r1.filegroups = f1
# 备注：.*log 是正则表达式；这里写成 *.log 是错误的
a1.sources.r1.filegroups.f1 = /tmp/root/.*log
# sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = linux123
a1.sinks.k1.port = 9091
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = linux123
a1.sinks.k2.port = 9092
# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 500
a1.channels.c2.type = memory
a1.channels.c2.capacity = 10000
a1.channels.c2.transactionCapacity = 500
# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

配置文件2

配置文件包含如下内容：

  • 1个 avro source
  • 1个 memory channel
  • 1个 hdfs sink

新建配置文件

vim flume-avro-hdfs.conf

写入如下的内容：

# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = linux123
a2.sources.r1.port = 9091
# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 10000
a2.channels.c1.transactionCapacity = 500
# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://linux121:8020/flume2/%Y%m%d/%H
# 上传文件的前缀
a2.sinks.k1.hdfs.filePrefix = flume2-
# 是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
# 500个Event才flush到HDFS一次
a2.sinks.k1.hdfs.batchSize = 500
# 设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream
# 60秒生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 60
a2.sinks.k1.hdfs.rollSize = 0
a2.sinks.k1.hdfs.rollCount = 0
a2.sinks.k1.hdfs.minBlockReplicas = 1
# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

配置文件3

配置文件包含如下内容：

  • 1个 avro source
  • 1个 memory channel
  • 1个 file_roll sink

新建配置文件

vim flume-avro-file.conf

写入如下的内容

# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2
# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = linux123
a3.sources.r1.port = 9092
# Describe the sink
a3.sinks.k1.type = file_roll
# 目录需要提前创建好
a3.sinks.k1.sink.directory = /root/flume/output
# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 10000
a3.channels.c2.transactionCapacity = 500
# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

启动Agent1

$FLUME_HOME/bin/flume-ng agent --name a3 \
--conf-file ~/conf/flume-avro-file.conf \
-Dflume.root.logger=INFO,console &

启动Agent2

$FLUME_HOME/bin/flume-ng agent --name a2 \
--conf-file ~/conf/flume-avro-hdfs.conf \
-Dflume.root.logger=INFO,console &

启动Agent3

$FLUME_HOME/bin/flume-ng agent --name a1 \
--conf-file ~/conf/flume-taildir-avro.conf \
-Dflume.root.logger=INFO,console &

Hive测试

hive -e "show databases;"

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3224710.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

【动态规划Ⅵ】背包问题 /// 组合问题

【动态规划Ⅵ】背包问题 /// 组合问题

背包问题 什么是背包问题0-1背包问题分数背包完全背包问题重复背包问题 背包问题例题416. 分割等和子集474. 一和零 完全平方数279. 完全平方数322. 零钱兑换 排列与组合组合，无重复：518. 零钱兑换 II排列，可重复：377. 组合总和 Ⅳ…
阅读更多...
【效率提升】多功能组织和整理软件一Notion

【效率提升】多功能组织和整理软件一Notion

Notion下载地址：https://www.notion.so/desktop Notion 是一款多功能办公软件，非常适合进行知识整理、团队协作、项目整理等。 下面是几个我推荐Notion的关键点： 一、排版高度自由：Notion的页面可以嵌套，在页面中还支…
阅读更多...
Games101——光珊化——深度缓存——shading着色 1

Games101——光珊化——深度缓存——shading着色 1

深度缓存 如何解决远近的问题，能正确的覆盖 按照画作来说，先画出远处的物体，再画出近处的物体，近处会将其覆盖，这种算法叫做画家算法 但事实上，排序不仅要花更多的时间，而且排序并不容易&…
阅读更多...
apache:the requested operation has failed使用httpd -t

apache:the requested operation has failed使用httpd -t

Apache24\bin cmd 回车 httpd -t 因为我重新压缩了，记住，重新压缩要使用原路径， 因为你安装的 时候使用的是原路径 还是不行就改个端口，切记修改配置文件httpd.conf先把Tomcat停了 Define SRVROOT "F:\Apache\Apache24&q…
阅读更多...
“Numpy数据分析与挖掘：高效学习重点技能“

“Numpy数据分析与挖掘：高效学习重点技能“

目录 # 开篇 # 补充 zeros & ones eye 1. numpy数组的创建 1.1 array 1.2 range 1.3 arange 1.4 常见的数据类型 1.5 astype 1.6 random.random() & round 2. numpy数组计算和数组计算 2.1 reshape 2.2 shape 2.3 将一维数组变成多维数组 2.4 指定一维…
阅读更多...
生产者消费者模型和线程同步问题

生产者消费者模型和线程同步问题

文章目录 线程同步概念生产者消费者模型条件变量使用条件变量唤醒条件变量 阻塞队列 线程同步概念 互斥能保证安全,但是仅有安全不够,同步可以更高效的使用资源 生产者消费者模型 下面就基于生产者消费者来深入线程同步等概念: 如何理解生产消费者模型: 以函数调用为例: 两…
阅读更多...
14-58 剑和诗人32 - 使用矢量数据库增强 LLM 应用程序

14-58 剑和诗人32 - 使用矢量数据库增强 LLM 应用程序

GPT-4、Bloom、LaMDA 等大型语言模型 (LLM) 在生成类似人类的文本方面表现出了令人印象深刻的能力。然而，它们在事实准确性和推理能力等方面仍然面临限制。这是因为，虽然它们的基础是从大量文本数据中提取统计模式，但它们缺乏结构化的知识源来为其输出提供依据。 最近，我们…
阅读更多...
红日靶场----（三）漏洞利用

红日靶场----（三）漏洞利用

上期已经信息收集阶段已经完成，接下来是漏洞利用。 靶场思路 通过信息收集得到两个吧靶场的思路 1、http://192.168.195.33/phpmyadmin/（数据库的管理界面） root/root 2、http://192.168.195.33/yxcms/index.php?radmin/index/login&am…
阅读更多...
(自用)gtest单元测试

(自用)gtest单元测试

gtest是Google的一套用于编写C测试的框架，可以运行在很多平台上（包括Linux、Mac OS X、Windows、Cygwin等等）。基于xUnit架构。支持很多好用的特性，包括自动识别测试、丰富的断言、断言自定义、死亡测试、非终止的失败、生成XML报…
阅读更多...
Python | Leetcode Python题解之第225题用队列实现栈

Python | Leetcode Python题解之第225题用队列实现栈

题目： 题解： class MyStack:def __init__(self):"""Initialize your data structure here."""self.queue collections.deque()def push(self, x: int) -> None:"""Push element x onto stack."&…
阅读更多...
14-59 剑和诗人33 - 端到端的LLMOps平台建设

14-59 剑和诗人33 - 端到端的LLMOps平台建设

​​​​ GPT-4、LlaMA、Falcon、Claude、Cohere、PaLM 等大型语言模型 (LLM) 已展示出强大的自然语言生成、推理、摘要、翻译等功能。然而，要有效利用这些模型来构建自定义应用程序，需要克服非同小可的机器学习工程挑战。 LLMOps 旨在提供一个精简的平…
阅读更多...
从零开始学习嵌入式----C语言框架梳理与后期规划

从零开始学习嵌入式----C语言框架梳理与后期规划

目录 一、环境搭建. 二、见解 三、C语言框架梳理 四、嵌入式学习规划流程图（学习顺序可能有变） 一、环境搭建. C语言是一门编程语言，在学习的时候要准备好环境。我个人比较喜欢用VS,具体怎么安装请百度。学习C语言的时候，切忌…
阅读更多...
clean code-代码整洁之道 阅读笔记（第十七章 终章）

clean code-代码整洁之道 阅读笔记（第十七章 终章）

大纲 第十七章 味道与启发 17.1 注释 C1：不恰当的信息 C2：废弃的注释 C3：冗余注释 C4：糟糕的注释 C5：注释掉的代码 17.2 环境 E1：需要多步才能实现的构建 E2：需要多步才能做到的测试 …
阅读更多...
中科驭数HADOS 3.0：以四大架构革新，全面拥抱敏捷开发理念，引领DPU应用生态

中科驭数HADOS 3.0：以四大架构革新，全面拥抱敏捷开发理念，引领DPU应用生态

一家成功的大算力芯片公司，其核心壁垒必须是软硬兼备的，既要有芯片架构的强大技术壁垒，更要有持久投入的、生态兼容完备的软件护城河。HADOS，就是中科驭数的软件护城河。 ——中科驭数高级副总裁 张宇 近日，在DPU基础…
阅读更多...
STM32F103RB多通道ADC转换功能实现（DMA）

STM32F103RB多通道ADC转换功能实现（DMA）

目录 概述 1 硬件 1.1 硬件实物介绍 1.2 nucleo-f103rb 1.3 软件版本 2 软件实现 2.1 STM32Cube配置参数 2.2 项目代码 3 功能代码实现 3.1 ADC功能函数 3.2 函数调用 4 测试 4.1 DMA配置data width：byte 4.2 DMA配置data width：Half wor…
阅读更多...
调整网络安全策略以适应不断升级的威胁形势

调整网络安全策略以适应不断升级的威胁形势

关键网络安全统计数据和趋势 当今数字时代网络安全的重要性
阅读更多...
vscode如何运行php代码

vscode如何运行php代码

安装PHP扩展： 打开VSCode，进入扩展视图（或使用快捷键CtrlShiftX）。搜索并安装“PHP Intelephense”或“PHP Server”等PHP相关扩展，这些扩展提供了PHP代码的智能感知、代码导航、调试等功能。 配置PHP路径：…
阅读更多...
系统架构设计师教程 第二章 计算机系统基础知识-2.3计算机软件

系统架构设计师教程 第二章 计算机系统基础知识-2.3计算机软件

系统架构设计师教程 第二章 计算机系统基础知识-2.3计算机软件 2.3 计算机软件2.3.1 计算机软件概述2.3.2 操作系统2.3.2.1 操作系统的组成2.3.2.2 操作系统的作用2.3.2.3 操作系统的特征2.3.2.4 操作系统的分类2.3.3 数据库2.3.3.1 关系数据库2.3.3.1.1 关系数据库设计的特点及…
阅读更多...
js原型和类---prototype，__proto__，new，class

js原型和类---prototype，__proto__，new，class

原型和原型链 在js中，所有的变量都有原型，原型也可以有原型，原型最终都指向Object 什么是原型 在js中，一个变量被创建出来，它就会被绑定一个原型；比如说，任何一个变量都可以使用console.log打…
阅读更多...
Simulink生成代码时端口名称乱码问题

Simulink生成代码时端口名称乱码问题

写在最前： 在使用Simulink生成代码时发现端口名称与模型中定义的输如输出端口名称不一致，代码生成的端口名称为随机字符名称。 在生成的H文件中发现，端口定义的结构体名称与模型中实际定义的名称不符。 模型中的定义 检查后发现&#xff0c…
阅读更多...
最新文章

Copyright @ 2022~2023