ELK日志收集

一、什么是ELK

ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK 是 elastic 公司研发的一套完整的日志收集、分析和展示的企业级解决方案。

ELK 的好处：

ELK 组件在大数据运维系统中，主要可解决的问题如下：

  • 日志查询，问题排查，故障恢复，故障自愈
  • 应用日志分析，错误报警
  • 性能分析，用户行为分析

二、Elasticsearch

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索
Elasticsearch 的特点：

  • 实时搜索、实时分析
  • 分布式架构、实时文件存储
  • 文档导向，所有对象都是文档
  • 高可用，易扩展，支持集群，分片与复制
  • 接口友好，支持 json

三、Logstash

Logstash 是一个具有实时传输能力的数据收集引擎，其可以通过插件实现日志收集和转发，支持日志过滤，支持普通 log、自定义 json 格式的日志解析，最终把经过处理的日志发送给 elasticsearch。

四、kibana

Kibana 为 elasticsearch 提 供 一 个 查 看 数 据 的 web 界 面 ， 其 主 要 是 通 过elasticsearch 的 API 接口进行数据查找，并进行前端数据可视化的展现，另外还可以针对特定格式的数据生成相应的表格、柱状图、饼图等。

安装部署ELK

node1节点（2C/4G）：node1/192.168.91.100					Elasticsearch
node2节点（2C/4G）：node2/192.168.91.101					Elasticsearch
Apache节点：       apache/192.168.91.103				 Logstash  Kibana  Apache

前期准备：java环境，关闭防火墙

java -version										#如果没有安装，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)systemctl disable  --now   firewalld
setenforce 0
sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config

1.安装 Elasticsearch 软件

ls
elasticsearch-6.7.2.rpm  elasticsearch-head-master.zip  node-v8.2.1.tar.gz  phantomjs-2.1.1-linux-x86_64.tar.bz2rpm -ivh elasticsearch-6.7.2.rpm
#cd /etc/elasticsearch/
mkdir bak 
cp -a *.yml  bak/
#备份

修改配置文件

vim elasticsearch.yml17 cluster.name: my-elk-cluster
#修改集群名字23 node.name: node1
24 node.master: true
25 node.data: true
#设置 节点名称 主从之间不能一致    24作为主节点   25作为数据节点45 bootstrap.memory_lock: true
#内存锁开启  禁止使用  swap59 network.host: 0.0.0.0
#监听地址
60 http.port: 9200
#  默认使用端口
61 transport.tcp.port: 9300
#内部传输端口73 discovery.zen.ping.unicast.hosts: ["192.168.91.100:9300", "192.168.91.101:9300"]
#自动集群发现，加入主机名  使用单播 类似心跳线grep -v "^#"  elasticsearch.yml 
cluster.name: my-elk-cluster
node.name: node1
node.master: true
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0 
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.91.100:9300", "192.168.91.101:9300"]

修改系统配置

vim /etc/security/limits.confsoft    nofile          65536
*  hard    nofile          65536
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited
*  hard    memlock         unlimitedvim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数，参考数据（分配 2g/262144，4g/4194304，8g/8388608）
vm.max_map_count=262144sysctl -p
sysctl -a | grep vm.max_map_count

修改systemd 服务管理器

vim /etc/systemd/system.confDefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

重启服务器 启动 elasticsearch

reboot
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200

查看节点信息

浏览器访问  
http://192.168.91.100:9200  
http://192.168.91.101:9200 
查看节点 Node1、Node2 的信息。浏览器访问 
http://192.168.91.100:9200/_cluster/health?pretty  
http://192.168.91.101:9200/_cluster/health?pretty
查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。浏览器访问 http://192.168.91.100:9200/_cluster/state?pretty  检查群集状态信息

安装谷歌插件
请添加图片描述
请添加图片描述
请添加图片描述
2.在应用服务器部署 Logstash

cd /opt
[root@localhost opt]#  rpm -ivh logstash-6.7.2.rpm                          #开启服务
systemctl enable --now logstash.service[root@localhost opt]# ln -s  /usr/share/logstash/bin/logstash   /usr/bin/
# 做软连接

Logstash 命令常用选项：
-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。
-t：测试配置文件是否正确，然后退出。

使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.91.100:9200","192.168.91.101:9200"]} }'
#结果不在标准输出显示，而是发送至 Elasticsearch 中
#可浏览器访问http://192.168.91.100:9100/ 查看索引信息和数据浏览。............................
[INFO ] 2024-07-16 00:50:12.096 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
# 输入信息
www.kgc.com
hello world

请添加图片描述
使用Logstash配置文件
Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）

  • input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
    file beats kafka redis stdin

  • filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
    grok 对若干个大文本字段进行再分割成一些小字段 (?<字段名>正则表达式) 字段名: 正则表达式匹配到的内容
    date 对数据中的时间格式进行统一和格式化
    mutate 对一些无用的字段进行剔除，或增加字段
    mutiline 对多行数据进行统一编排，多行合并或拆分

  • output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
    elasticsearch stdout

vim /etc/logstash/conf.d/system-log.conf input {file {path => "/var/log/messages"type => "system"start_position => "beginning"}}output {elasticsearch {hosts => [ "192.168.91.100:9200","192.168.91.101:9200" ]index => "system-%{+YYYY.MM.dd}"}}chmod +r /var/log/messages 
#添加权限logstash   -f  system-log.conf 
#启动logstash
........................................................................
[INFO ] 2024-07-16 01:02:41.716 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9601}

3.安装 kibana

rpm -ivh kibana-6.7.2-x86_64.rpm cd  /etc/kibana/
cp kibana.yml  kibana.yml.bak -avim kibana.yml2   		 server.port: 5601          		#打开端口
7    server.host: "0.0.0.0"      	#监听端口
28   elasticsearch.hosts: ["http://192.168.91.100:9200", "http://192.168.91.101:9200"]  #el服务器地址
37   kibana.index: ".kibana"         #打开索引
96   logging.dest: /var/log/k.log      #指定日志文件， 需要手动建立文件
114  i18n.locale: "zh-CN"              #中文设置chown kibana:kibana /var/log/k.logsystemctl enable --now kibana.service
ss -nap |grep 5601
tcp    LISTEN     0      128       *:5601                  *:*                   users:(("node",pid=42235,fd=19))192.168.91.102:5601
#浏览器访问测试

请添加图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3250327.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

MDK5没有DeviceName

MDK5没有DeviceName

遇到的问题是Jlink驱动问题 不是引脚接反 使用国产GD单片机不同的工程&#xff0c;有的有Device Name,有的没有Device Name&#xff08;下图是弄好的情况&#xff0c;有Device Name&#xff09; 硬件链接&#xff0c;和设备都没有问题&#xff1a;无法仿真&#xff0c;无法下…
阅读更多...
ARM体系结构和接口技术（四）LED灯实验---②

ARM体系结构和接口技术（四）LED灯实验---②

文章目录 一、特殊功能控制寄存器&#xff08;一&#xff09;GPIOx_MODER寄存器&#xff08;二&#xff09;GPIOx_OTYPER寄存器&#xff08;三&#xff09;GPIOx_OSPEEDR寄存器&#xff08;四&#xff09;GPIOx_PUPDR寄存器&#xff08;五&#xff09;GPIOx_IDR寄存器&#xff…
阅读更多...
C语言——详解二级指针及其与二维数组的误区、指针定义大全

C语言——详解二级指针及其与二维数组的误区、指针定义大全

C语言中的二级指针&#xff08;也称为指针的指针&#xff09;是指一个指针变量&#xff0c;它存储的不是普通的值&#xff0c;而是另一个指针的地址。这意味着你可以通过二级指针来访问和修改另一个指针的值。这种结构在C语言中非常有用&#xff0c;尤其是在处理动态内存分配、…
阅读更多...
C语言实现二叉树以及二叉树的详细介绍

C语言实现二叉树以及二叉树的详细介绍

目录 1.树概念及结构 1.1树的概念 1.2树的相关概念 1.3树的表示 2.二叉树概念及结构 2.1二叉树的概念 2.2特殊的二叉树 2.3二叉树的性质 2.4二叉树的存储结构 3.二叉树顺序结构--特殊的二叉树--堆及其实现 3.1堆的概念及结构 3.2堆的实现 3.2.1堆的结构 3.2.2堆…
阅读更多...
《昇思25天学习打卡营第25天|第22天》

《昇思25天学习打卡营第25天|第22天》

今天是学习的第22天&#xff0c;今天学的是应用实践的自然语言处理的RNN实现情感分类。 从情感分类开始学习&#xff0c;数据准备、数据下载模块、加载IMDB数据集、加载预训练词向量、数据集预处理、模型构建、Embedding、RNN(循环神经网络)、Dense、损失函数与优化器、训练逻…
阅读更多...
Github狂揽2.8k stars，可一键生成绘画全过程，却引发全球骂战

Github狂揽2.8k stars，可一键生成绘画全过程，却引发全球骂战

大家好&#xff0c;我是程序员X小鹿&#xff0c;前互联网大厂程序员&#xff0c;自由职业2年&#xff0c;也一名 AIGC 爱好者&#xff0c;持续分享更多前沿的「AI 工具」和「AI副业玩法」&#xff0c;欢迎一起交流~ 这项 AI 技术刚一上线&#xff0c;就在 Github 狂揽 1k stars…
阅读更多...
数据库理论基础

数据库理论基础

1.什么是数据库 1.1数据 描述事物的符号记录&#xff0c; 可以是数字、 文字、图形、图像、声音、语言等&#xff0c;数据有多种形式&#xff0c;它们都可以经过数字化后存入计算机。 1.2数据库 存储数据的仓库&#xff0c;是长期存放在计算机内、有组织、可共享的大量数据…
阅读更多...
C++初学者指南-5.标准库(第一部分)--标准库最小/最大算法

C++初学者指南-5.标准库(第一部分)--标准库最小/最大算法

C初学者指南-5.标准库(第一部分)–标准库min/max算法 文章目录 C初学者指南-5.标准库(第一部分)--标准库min/max算法minmaxminmaxclamp (C17)min_elementmax_elementminmax_element相关内容 C标准库算法是一块新领域&#xff1f;⇒简短介绍 min min(a, b) → a 如果 a < b则…
阅读更多...
全国产服务器主板：搭载飞腾FT2000+/64处理器的高性能加固服务器

全国产服务器主板：搭载飞腾FT2000+/64处理器的高性能加固服务器

近期很多朋友咨询全国产化的服务器主板。搭载的是飞腾FT-2000/64的全国产化服务器主板。他的主要特点是&#xff1a;①丰富的PCIe、千兆以太网、SATA接口&#xff0c;可用作数据处理、存储、通信服务器&#xff1b;②​​​​​​​板载独立显示芯片&#xff0c;对外HDMI/VGA/L…
阅读更多...
C语言第5天作业 7月16日

C语言第5天作业 7月16日

目录 1.求1000以内所有的质数。 2.有1、2、3、4个数字&#xff0c;能组成多少个互不相同且无重复数字的三位数&#xff1f;都是多少&#xff1f; 3.猴子吃桃问题 4.判断最大值 1.求1000以内所有的质数。 质数&#xff1a;只能够1和它本身整除 #include <stdio.h> in…
阅读更多...
Java 快速入门学习 -- Day 2

Java 快速入门学习 -- Day 2

Java 快速入门 Ⅱ 学习视频maven&#xff08;图书管理员&#xff09;IDEA使用 maven框架MyBatis① MyBatis 是持久层框架② MyBatis 是 ORM 框架③ 搭建第一个 MyBatis 框架1、创建数据库表&#xff08;wy数据库 t_book 表&#xff09;2、创建maven 项目3、添加依赖4、创建 My…
阅读更多...
万界星空科技MES系统生产计划管理的功能

万界星空科技MES系统生产计划管理的功能

MES系统&#xff08;Manufacturing Execution System&#xff0c;制造执行系统&#xff09;的生产计划管理功能是其核心功能之一&#xff0c;旨在将企业的生产计划转化为实际的生产操作&#xff0c;并通过实时监控和调整来确保生产活动的顺利进行。以下是MES系统生产计划管理功…
阅读更多...
关于 Qt输入法在arm特定的某些weston下出现调用崩溃 的解决方法

关于 Qt输入法在arm特定的某些weston下出现调用崩溃 的解决方法

若该文为原创文章&#xff0c;转载请注明原文出处 本文章博客地址&#xff1a;https://hpzwl.blog.csdn.net/article/details/140423667 长沙红胖子Qt&#xff08;长沙创微智科&#xff09;博文大全&#xff1a;开发技术集合&#xff08;包含Qt实用技术、树莓派、三维、OpenCV…
阅读更多...
算法篇 滑动窗口 leetCode 水果成篮

算法篇 滑动窗口 leetCode 水果成篮

水果成蓝 1.题目描述2.图形分析2.1原理解释2.2 怎么想出使用滑动窗口2.3 图形分析 3.代码演示 1.题目描述 2.图形分析 2.1原理解释 2.2 怎么想出使用滑动窗口 2.3 图形分析 3.代码演示
阅读更多...
C语言数组进阶探索

C语言数组进阶探索

1、数组名含义 在C语言程序中&#xff0c;数组的出现有两种可能的含义&#xff1a; &#xff08;1&#xff09;代表整个数组 &#xff08;2&#xff09;代表其首元素的地址 当出现以下情形时&#xff0c;数组代表的是整个数组&#xff1a; &#xff08;1&#xff09;在数组定义…
阅读更多...
Zabbix × openGauss完成兼容 | 信创路上，得其法则事半功倍

Zabbix × openGauss完成兼容 | 信创路上，得其法则事半功倍

在当今快速发展的信息技术领域&#xff0c;数据库作为核心组件之一&#xff0c;其性能、可靠性和兼容性一直是企业和开发者关注的焦点。 近期&#xff0c;Zabbix与openGauss完成了兼容性认证&#xff0c;经过严格联合测试&#xff0c;双方产品实现完全兼容&#xff0c;整体运行…
阅读更多...
搭建个人智能家居 7 - 空气颗粒物检测

搭建个人智能家居 7 - 空气颗粒物检测

搭建个人智能家居 7 - 空气颗粒物检测 前言说明PMS5003ESPHomeHomeAssistant结束 前言 到目前为止&#xff0c;我们这个智能家居系统添加了4个外设&#xff0c;分别是&#xff1a;LED灯、RGB灯、DHT11温度传感器和SGP30。今天继续添加环境测量类传感器“PMS5003空气颗粒物检测…
阅读更多...
前端JS特效第45集：js实现图片放大和拖拽特效

前端JS特效第45集：js实现图片放大和拖拽特效

js实现图片放大和拖拽特效&#xff0c;先来看看效果&#xff1a; 部分核心的代码如下(全部代码在文章末尾)&#xff1a; <!DOCTYPE html> <html> <head><meta charset"utf-8"><title>js实现图片放大和拖拽特效</title><meta…
阅读更多...
开放式耳机哪个品牌最好？2024年度首发推荐榜单来了！

开放式耳机哪个品牌最好？2024年度首发推荐榜单来了！

在很多专业运动人士中&#xff0c;开放式耳机正变得越来越受欢迎。无论是享受纯净的音质、沉浸式的听觉体验&#xff0c;还是舒适度和通透感方面的追求&#xff0c;开放式耳机都展现出了独特的魅力。本文将带您深入探索开放式耳机的世界&#xff0c;揭示其不可忽视的优点和无限…
阅读更多...
拒绝废话：computed、watch和methods的区分和使用场景

拒绝废话：computed、watch和methods的区分和使用场景

computed、watch和methods是用于处理数据和响应数据变化的不同方式&#xff0c;三者之间有什么不同呢&#xff0c;贝格前端工场作为10年前端老司机&#xff0c;用浅显的语言给大家分享一下。 computed&#xff1a; computed属性是用来定义一个基于依赖的响应式属性。它会根据…
阅读更多...
最新文章

Copyright @ 2022~2023