maxwell理论知识

1 Maxwell是什么

Maxwell 是由美国 Zendesk 开源,用 Java 编写的 MySQL 实时抓取软件。 实时读取

MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、

RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。

2 mysql的主从复制过程

  • Master 主库将改变记录,写到二进制日志(binary log)中
  • Slave 从库向 mysql master 发送 dump 协议,将 master 主库的 binary log events 拷贝到它的中继日志(relay log);
  • Slave 从库读取并重做中继日志中的事件,将改变的数据同步到自己的数据库

在这里插入图片描述

3 Maxwell工作原理

Maxwell 的工作原理很简单,就是把自己伪装成 MySQL 的一个 slave,然后以 slave的身份假装从 MySQL(master)复制数据

4 Mysql的binlog

4.1 什么是binlog日志

mysql的二进制日志记录mysql的DDLDML以及发生的时间戳(查询是没有被记录的),MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

其一:MySQL Replication 在 Master 端开启 binlog,Master 把它的二进制日志传递给 slaves 来达到 master-slave 数据一致的目的。

其二:自然就是数据恢复了,通过使用 mysqlbinlog 工具来使恢复数据。

二进制日志包括两类文件:二进制日志索引文件(文件名后缀为.index)用于记录所有的二进制文件,二进制日志文件(文件名后缀为.00000*)记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

4.2 开启binlog

Linux: /etc/my.cnf

如果/etc 目录下没有,可以通过 locate my.cnf 查找位置

Windows: \my.ini

在 mysql 的配置文件下,修改配置

在[mysqld] 区块,设置/添加 log-bin=mysql-bin

这个表示 binlog 日志的前缀是 mysql-bin,以后生成的日志文件就是 mysql-bin.000001的文件后面的数字按顺序生成,每次 mysql 重启或者到达单个文件大小的阈值时,新生一个文件,按顺序编号

4.3 binlog的分类设置

mysql binlog 的格式有三种,分别是 STATEMENT,MIXED,ROW。

在配置文件中可以选择配置

binlog_format= statement|mixed|row

4.3.1statement

语句级,binlog 会记录每次一执行写操作的语句。

相对 row 模式节省空间,但是可能产生不一致性,比如

update test set create_date=now();

如果用 binlog 日志进行恢复,由于执行时间不同可能产生的数据就不同。

优点: 节省空间

缺点: 有可能造成数据不一致。

4.3.2 row

行级, binlog 会记录每次操作后每行记录的变化。

优点:保持数据的绝对一致性。因为不管 sql 是什么,引用了什么函数,他只记录

执行后的效果。

缺点:占用较大空间。

4.3.3 mixed

混合级别,statement 的升级版,一定程度上解决了 statement 模式因为一些情况而造成的数据不一致问题。

默认还是 statement,在某些情况下,譬如:

当函数中包含 UUID() 时;

包含 AUTO_INCREMENT 字段的表被更新时;

执行 INSERT DELAYED 语句时;

用 UDF 时;

会按照 ROW 的方式进行处理

优点:节省空间,同时兼顾了一定的一致性。

缺点:还有些极个别情况依旧会造成不一致,另外 statement 和 mixed 对于需要对binlog 监控的情况都不方便。

综合上面对比,Maxwell 想做监控分析,选择 row 格式比较合适

5 Maxwell与Canal的对比

ement 和 mixed 对于需要对binlog 监控的情况都不方便。

综合上面对比,Maxwell 想做监控分析,选择 row 格式比较合适

5 Maxwell与Canal的对比

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/254536.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

maxwell render中文版

教程: 1、下载软件包解压,双击exe程序安装软件,点击下一步。 2、软件协议界面,选择我接受协议,点击下一步。 3、选择安装路径,选择C盘之外的磁盘安装。 4、选择安装组件,全部勾选&#xff0…

Maxwell简单使用

1.Maxwell简介 Maxwell 是由美国 Zendesk 开源,用 Java 编写的 MySQL 实时抓取软件。 实时读取MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或…

Maxwell 介绍、安装、部署、运行(MYSQL -> Maxwell -> kafka)

Maxwell 安装、部署、运行(MYSQL -> Maxwell -> kafka) 一、Maxwell 概述 Maxwell 用 Java 编写的 MySQL 实时抓取软件。 实时读取MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka等消费中心。 …

Maxwell的简介与使用

一、简介 Maxwell 是由美国Zendesk公司开源,用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作(包括insert、update、delete),并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。 Maxwell…

推荐三款动态壁纸软件,足够让你的桌面惊艳!

点击上方“码农的后花园”,选择“星标” 公众号 精选文章,第一时间送达 今天给大家推荐三款动态壁纸软件,给你的桌面添加一点精彩,心情也更美呢 ~ 1,WinDynamicDesktop 进入软件界面,默认提供了5套苹果系统使用过的动态…

找壁纸不用愁了:壁纸网站/APP/工具合集

苏生不惑第261篇原创文章,将本公众号设为星标,第一时间看最新文章。 之前分享过那些好用的无版权免费图片网站,今天分享些好看的壁纸网站和工具,在公众号后台回复 壁纸 获取软件。 wallhaven 这个知名壁纸网站应该不用多介绍了htt…

免费壁纸网站大全

极简壁纸展开目录 https://bz.zzzmh.cn 国人维护的壁纸网站,图片大多来源 wallhaven 和 unsplash。 轻壁纸展开目录 一个免费纯净高清电脑壁纸分享站,主打高清横屏电脑壁纸,永久免费! https://bz.qinggongju.com 壁纸湖展开目…

推荐两款超高质量的壁纸软件

前言 整天对着电脑工作难免会感觉烦躁,但如果能经常看到自己喜欢的壁纸,那应该会稍微愉悦一点吧… 不过搜索引擎找到的壁纸壁纸普遍清晰度低、带水印、质量也不高 每次还需要下载完手动替换,比较麻烦 今天给大家推荐两款高质量并且开源的…

高清免费壁纸网站推荐

本期内容,为大家整理了6个相当不错的免费壁纸网站,访问量极大、活跃度极高。 无需登录、注册,打开右键就可以下载,而且壁纸图片的尺寸大小,可以选择,从手机、平板、再到电脑壁纸,全部都是高清。…

Wallpaper引擎 壁纸提取 (文中附工具下载链接)

有一款优秀的电脑桌面壁纸软件——《Wallpaper Engine》 用过的都知道,好得不得了 但是,这款壁纸软件还是很吃GPU的,尤其是场景类、视频类的壁纸,电脑性能不足的还会卡可怜的笔记本就这样。 有时候除了壁纸本身,是…

chatgpt赋能python:Python中怎么转置矩阵

Python中怎么转置矩阵 在Python中,我们可以轻松地实现矩阵的转置操作。矩阵转置是指将矩阵的行列互换,即将矩阵的行转换为列,将列转换为行。这种操作在数据处理和科学计算中是很常见的,因此我们需要了解如何在Python中进行矩阵转…

网络打印机因IP地址变动导致脱机的解决方法

PC版本win10 某一天因为种种原因导致网络打印机的IP变动了,那么我们在自己PC机上添加的打印机就无法使用了,来看作者是怎么解决的。假设目标IP由192.168.1.16改为192.168.2.195 打开我的打印机和扫面仪菜单

打印机显示脱机怎么办

简述 删除设备,重新添加设备就可以了。 详细 将变灰的打印机删除设备,然后添加新的打印机就OK了。 添加打印机可以选用TCP/IP连接方式。

打印机脱机了怎么办

1、 确保开启打印机电源,并且打印机处于待机准备就绪状态; 2、打印机指示灯绿灯闪烁或常亮就绪; 3、检查打印机 USB连接线到电脑之间是否有问题。重新开启打印机电源; 4、依次点击“开始”→“打印机和传真”。在“打印机和传真…

win10打印机脱机(win10打印机脱机怎么处理)

Win10系统下打印机脱机状态怎么解除呢? 1、将鼠标移动到桌面的右上角或者右下角,在弹出的菜单中点击设置按钮脱机状态。 2、在设置界面点击控制面板打印机电脑图解。 3、在控制面板的查看方式为类别大全情况下点击查看设备和打印机脱机。 4、在脱机的…

打印机脱机解决办法

打印机脱机解决办法 下午的时候想打印一篇论文,结果点了打印之后打印机没有反应,我还以为是打印机里面没有纸了,因为上次的时候就是这样,上一个人打印完之后正好没有纸,我打印的时候就没有提示没有纸,但是…

共享打印机服务器脱机状态,打印机脱机工作怎么恢复 共享的打印机脱机状态...

原标题:"打印机脱机怎么办,小编教你打印机脱机状态怎么解决"关于电脑问题教程分享。 - 来源:191路由网 - 编辑:小元。 日常生活中我们都经常会接触到打印机,特别是现在日雏的网络化办公,不过发现不少拥有打印机的用户都碰到过这样的…

网络层

一、概述 1、网络层是OSI参考模型中的第三层,介于传输层和数据链路层之间,它在数据链路层提供的两个相邻端点之间的数据帧的传送功能上,进一步管理网络中的数据通信,将数据设法从源端经过若干个中间节点传送到目的端,从…

Vue之前后端交互模式

1. fetch-API的使用 1.1 init <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"…

计算机病毒及其防治技术期末复习

《计算机病毒及其防治技术》总结复习 文章目录 《计算机病毒及其防治技术》总结复习第一章 概述第二章 蠕虫第三章 病毒结构第四章 计算机病毒的技术特征第五章 特洛伊木马第六章 宏病毒第七章 Linux病毒第八章 移动终端恶意代码第九章 新型计算机病毒第十章&#xff08;上&…