什么是数据同步服务RSYNC?

大家好呀!这里是码农后端。今天来介绍一下数据同步服务RSYNC,作为Linux/Unix系统中远程或本地复制同步(复制)文件和目录最常用的命令,相比于scp命令,其具有增量备份、数据同步时保持文件的原有属性等优点。

一、RSYNC概述

1、几种方式

  • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

  • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

  • rsync 远程同步:remote  synchronous

数据同步过程

以保存文件为目标,sync数据同步会强制把缓存中的数据写入磁盘(立即保存),适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘,适合批量数据同步的场景。

同步(Synchronous),异步(Asynchronous),远程同步(Remote Synchronous)

2、rsync特点

1)可以镜像保存整个目录树和文件系统

2)可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

3)传输效率高,使用同步算法,只比较变化的(增量备份)

如把A服务器中的file1.txt、file2.txt、 file3.txt传输到B服务器,使用rsync实现数据同步,会先比较,假设B服务器中存在file1.txt、file2.txt,则只会同步file3.txt。

4)支持匿名传输,方便网站镜像;也可以做验证,加强安全

3、rsync与scp的区别

两者都可以实现远程同步,但rsync相对更强一些。体现如下: 

1)支持增量备份

2)数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

1)使用man命令查看帮助手册

man rsync

85a056f62597485d8d24b411a398ac7c.png

2)选项说明

OPTION选项说明(一般使用 -av)
-v    	详细模式输出
-a    	归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD-r    	递归拷贝目录
-l		保留软链接
-p    	保留原有权限
-t     	保留原有时间(修改)
-g    	保留属组权限
-o     	保留属主权限
-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件-R	    保留相对路径
-H    	保留硬链接
-A    	保留ACL策略
-e     	指定要执行的远程shell命令,ssh更改端口常用选项
-E     	保留可执行权限
-X     	保留扩展属性信息  a属性

PUSH:推,即上传;PULL:拉,即下载

2、本地文件同步

本地文件同步可以理解为:把文件从一个位置(同步=>拷贝)到另一个位置(类似cp)

eg1:/dir1、/dir2与/dir3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步

# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中

a1d246a095f1941bc689c542e6eb0e1d.png

eg2:rsync -R选项的应用(保留相对路径)

rsync -avR /dir1/ /dir2

eg3:rsync --delete(删除目标目录里多余的文件)

/dir1(file1、file2) 

/dir2(file1、file2、file3)

rsync --delete同步后,会自动删除file3文件。(让dir1与dir2目录中的文件高度一致

rsync -av --delete /dir1/ /dir2

3、rsync作为系统服务

默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路:

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

1)启动rsyncd服务(CentOS6中没有,CentOS7中有这个服务)

systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本,则没有启动脚本。则需要查看帮助手册:

man rsync
rsync --help
rsync --daemon --help# CentOS6:rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务,作为后台运行
rsync --daemon# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync	=>  -t tcp , -u udp

注:如果rsync作为系统服务单独运行,则其底层就不需要SSH服务了

2)rsyncd服务的配置文件/etc/rsyncd.conf

man 5 rsyncd.conf

21749869ae98fed51e93b94de4680305.jpeg

三、任务解决方案(重点)

1、环境准备

用到的服务器及对应IP配置如下:

ecc8752d2c99969966bdf055a29ef961.jpeg

编号IP地址主机名称角色
110.1.1.10code.itweb.cnCode(MIS)
210.1.1.100backup.itweb.cnBackup(Backup)

1)关闭防火墙与SELinux

# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0vim /etc/selinux/config
SELINUX=disabled

2)更改主机名称

hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su

3)更改IP地址(静态IP)

# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"		=> 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关,连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"		=>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network

关于上述一些常见的参数的说明,如下图

99beaef6cf16bcca4f2463e3b2cb1b4e.png

4)关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager

5)配置YUM源

可以使用官方默认的YUM,如有需要可自行配置。

6)时间同步

ntpdate cn.ntp.org.cn

2、远程文件同步

1)Push:上传文件到远程服务器端

rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

eg1:把linux.txt文档传输到远程服务器端(10.1.1.100)的root目录下

rsync -av linux.txt root@10.1.1.100:/root

eg2:把shop文件夹传输到远程服务器端(10.1.1.100)的root目录下

rsync -av shop root@10.1.1.100:/root

2)Pull:下载文件到本地服务器端

rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

eg1:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地

rsync -av root@10.1.1.100:/etc/hosts ./

eg2:把远程服务器(10.1.1.100)的/shop文件夹下载到本地

rsync -av root@10.1.1.100:/shop ./

扩展:

问题1:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

rsync在远程同步时,之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式,如果没有配置免密则默认使用用户名+密码的认证方式

如果不想要密码同步,可以考虑使用SSH免密操作。

Code => Backup

Code:

# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100

问题2:如果Backup服务器端更改了SSH的默认端口(如更改为10086),又该如何同步?

# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、给RSYNC服务添加密码(扩展)

Code服务器:

1)打开/etc/rsyncd.conf配置文件

vim /etc/rsyncd.conf[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

2)在/etc目录下创建rsyncd.secrets文件

vim /etc/rsyncd.secretsuser1:123							 	=>   设置密码,用户名:密码
user2:123

3)更改密码文件权限为600

chmod 600 /etc/rsyncd.secrets

4)重启rsyncd服务

systemctl restart rsyncd

5)Backup备份服务器:

rsync -av user1@10.1.1.10::app ./
Password:123

好了,以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章,只需做这几个动作:点星标、点在看(包括赞)、评论、分享,我就会经常出现在您的常读列表,后面更新都会提醒。感谢大家的关注和支持,祝大家生活美满,学业有成,事业蒸蒸日上!

最后,星标设置如下:

d3cdae46a269d0401846738c4f7a8203.png

如下即设置成功!

b69889df8f4db3f09267fa729c257af1.png

往期精彩文章推荐(点击下方蓝字即可阅读!)

往期推荐

SSH服务搭建及免密登录实现

SSH服务搭建之YUM源配置与静态IP配置

SSH基于用户名密码的认证原理

一文带你快速了解VMware的三种网络模式

什么是yum源?如何对其进行配置?

Linux有哪些常用的高级扩展命令?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/3226199.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

制作电子名片的小程序系统源码 快速生成电子名片

在当今数字化时代,传统的纸质名片已逐渐被智能电子名片所取代。电子名片小程序作为一种基于微信生态的创新名片交换方式,凭借其便捷性、高效性和环保性,成为了众多商务人士的首选。小编分享一个制作电子名片的小程序系统源码,无忧…

GitHub 站点打不开

遇到的问题 您是否遇到过GitHub网站打不开的情况,正如下图所示: 解决方案 以下是一些常见的解决方案: 1. 检查网络连接 确保你的设备已连接到互联网。尝试访问其他网站,确保不是你的网络问题。 C:\Vinca>ping github.…

Groovy vs Kotlin 在Gradle配置文件中的差异与选择

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

ArkUI开发学习随机——B站视频简介页面,美团购买界面

案例一:B站视频简介页面 代码: build() {Column(){Column(){Stack(){Image($r("app.media.genimpact")).width(200).height(125).borderRadius({topLeft:5,topRight:5})Row(){Image($r("app.media.bz_play")).height(24).fillColor…

【独家揭秘】视频号矩阵系统火爆上线,一键式多平台管理,你的内容营销神器!

在信息爆炸的时代,内容创作者们面临着前所未有的挑战与机遇。如何让自己的内容在众多平台中脱颖而出,快速传播并吸引大量观众,成为了每个创作者关注的焦点。近日,一款名为“迅狐视频号矩阵系统”的神器震撼来袭,它以其…

全面解析BPMN、CMMN、DMN与XML

欢迎来到我的博客,代码的世界里,每一行都是一个故事 🎏:你只管努力,剩下的交给时间 🏠 :小破站 全面解析BPMN、CMMN、DMN与XML 前言BPMN(业务流程模型与标记法)定义与用途…

【Python】已解决:SyntaxError invalid syntax

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项 已解决:SyntaxError invalid syntax 一、分析问题背景 在Python编程中,SyntaxError: invalid syntax是一个常见的错误,它通常表示代码中存在语法…

GLM4大模型微调入门实战-命名实体识别(NER)任务

[GLM4]是清华智谱团队最近开源的大语言模型。 以GLM4作为基座大模型,通过指令微调的方式做高精度的命名实体识别(NER),是学习入门LLM微调、建立大模型认知的非常好的任务。 显存要求相对较高,需要40GB左右。 知识点1&…

【Python】已解决:ModuleNotFoundError: No module named ‘pip‘(重新安装pip的两种方式)

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例 四、重新安装pip的两种方式方式一:使用get-pip.py脚本方式二:使用ensurepip模块五、注意事项 已解决:ModuleNotFoundError: No module named ‘pip’(重新安装pip的…

30. 01背包问题 二维,01背包问题 一维,416.分割等和子集

背包问题分类: 1、确定dp数组以及下标的含义对于背包问题,有一种写法, 是使用二维数组,即dp[i][j] 表示从下标为[0-i]的物品里任意取,放进容量为j的背包,价值总和最大是多少。2、确定递推公式,…

护佑未来!引领儿童安全新时代的AI大模型

引领儿童安全新时代的AI大模型 一. 前言1.1 AI在儿童安全方面的潜在作用1.2 实时监控与预警1.3 个性化安全教育与引导1.4 家长监护与安全意识提升 二. AI大模型的优势2.1. 保护儿童隐私和安全的重要性2.2. AI大模型如何应用于儿童安全领域2.1 儿童内容过滤2.2.1 儿童行为监测 2…

Redis实战—秒杀优化(Redis消息队列)

回顾 我们回顾一下前文下单的流程,当用户发起请求,此时会请求nginx,nginx会访问到tomcat,而tomcat中的程序,会进行串行操作,分成如下几个步骤。 1、查询优惠卷 2、判断秒杀库存是否足够 …

简要描述C++ Memory Order

现代CPU基本都是多核CPU,基本都具备多线程能力。而涉及到多线程一定会涉及到多线程共享资源数据竞争的问题。如果对竞争资源不加以保护或者针对多线程访问的管理就会出现不同线程读取数据不一致或者更加严重的问题。C标准库提供了互斥锁(std::mutex&…

利用外部知识增强的LEMMA模型:提升多模态虚假信息检测的LVLM方法

LEMMA: Towards LVLM-Enhanced Multimodal Misinformation Detection with External Knowledge Augmentation https://arxiv.org/abs/2402.11943https://arxiv.org/abs/2402.11943 1.概述 多模态虚假信息通过综合文字、图像和视频等多元化形式,在社交平台上的传播过程中,相…

BN的 作用

1、背景: 卷积神经网络的出现,网络参数量大大减低,使得几十层的深层网络成为可能。然而,在残差网络出现之前,网络的加深使得网络训练变得非常不稳定,甚至出现网络长时间不更新或者不收敛的情形,…

牛市中途深度调整,一览下半场值得关注的 Solana 生态五大潜力项目

近期有关加密货币的利空消息让市场行情一度陷入了恐慌之中,短期利空的落地也将伴随着接下来市场的蓄势。对于投资者来说,现在布局超跌潜力项目不失为一个不错的机会。作为本轮牛市值得关注的两大生态,Solana和TON的快速发展和吸金效应&#x…

7个外贸网站模板

Nebula独立站wordpress主题 Nebula奈卜尤拉wordpress主题模板,适合搭建外贸独立站使用的wordpress主题。 https://www.jianzhanpress.com/?p7084 Starling师大林WordPress独立站模板 蓝色橙色风格的WordPress独立站模板,适合做对外贸易的外贸公司搭建…

使用webrtc-streamer查看rtsp实时视频

1.下载webrtc-streamer 2.解压运行webrtc-streamer.exe 在浏览器访问127.0.0.1:8000,点击窗口可以看到本机上各窗口实时状态,点击摄像头可以显示摄像头画面。 5.安装phpstudy,并建立网站。(具体过程自己网上搜) 6.打开…

给你的博客加上评论区

一个网站如果有评论功能,可以更好的和读者互动。VuePress 也有很多评论插件,这里简单介绍下,最后介绍本站所使用的 Twikoo。 大部分评论插件都是使用的 Github 或 Gitee 的 issue 功能,也就是用 issue 去存储评论;而 …

自定义指令实现Element Plus分页组件内容样式修改

改之前是这样的 改之后是这样的 因为之前我也有写过文章讲解Vue2-ElementUI分页组件的样式修改。 ElementUI 分页组件内容样式修改https://blog.csdn.net/qq_54548545/article/details/139728064且通常情况下,一个项目若是大量使用到分页组件,咱们也不可…