一、Rsync简介
1、认识
Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快
Rsync支持大多数的类Unix系统,无论是Linux、Solaris还是BSD上都经过了良好的测试
此外,它在windows平台下也有相应的版本,如cwRsync和Sync2NAS等工具
2、原理
Rsync本来是用于替代rcp的一个工具,目前由rsync.samba.org维护,所以rsync.conf文件的格式类似于samba的主配 置文件;Rsync可以通过rsh或ssh使用,也能以daemon模式去运行
在以daemon方式运行时Rsync server会打开一个873 端口,等待客户端去连接。连接时,Rsync server会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,以后则就只需进行增量备份
3、特点
1、可以镜像保存整个目录树和文件系统;
2、可以很容易做到保持原来文件的权限、时间、软硬链接等;
3、无须特殊权限即可安装;
4、优化的流程,文件传输效率高;
5、可以使用rsh、ssh等方式来传输文件,当然也可以通过直接的socket连接;
6、支持匿名传输
 
二、Rsync安装(手动下载安装)

2.1:rsync下载  https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz

  cd /home/software
   wget https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
   tar -zxvf rsync-3.1.2.tar.gz

2.2:安装rsync

  cd rsync-3.1.2
  ./configure --prefix=/usr/local/rsync
  make
  make install

2.3:配置rsync-server

  2.3.1:配置rsyncd.conf    (手动创建    touch /usr/local/rsync/rsyncd.conf )

    vim /usr/local/rsyncd.conf

    ### 全局参数 ###

    port=873
    motd file=/usr/local/rsync/rsyncd.motd
    log file=/usr/log/rsyncd.log
    pid file=/var/run/rsyncd.pid

    ### 模块参数 ###

    [hometest]
    path=/home/test
    use chroot=true
    uid=0
    gid=0
    read only=false
    exclude=/readme.txt /runtime
    auth users=markdeng
    secrets file = /usr/local/rsync/rsyncd.secrets

  2.3.2:配置rsyncd.secrets(手动创建    touch /usr/local/rsync/rsyncd.secrets ) //此文件权限必须设置:600

    vim /usr/local/rsync/rsyncd.secrets

    markdeng:123
    dxh:321

  chmod 600 /usr/local/rsync/rsyncd.secrets

  2.3.3:配置rsyncd.motd  (手动创建  touch /usr/local/rsync/rsyncd.motd )

    vim /usr/local/rsync/rsyncd.motd

    welcome use rsync service

   2.3.4:启动rsyncd

     /usr/bin/rsyncd --daemon --config=/usr/local/rsync/rsyncd.conf

  2.3.5:查看rsyncd进程

    ps aux | grep rsyncd

  

三、Rsync安装(yum安装)

  3.1安装运行:

  yum -y install rsync
    #启动rsync服务
  systemctl start rsyncd.service
  systemctl enable rsyncd.service

    #检查是否已经成功启动
  netstat -lnp|grep 873

  好了,好了。安装成功。

  3.2配置:
  首先,配置文件在:
  /etc/rsyncd.conf

 vim /etc/rsyncd.conf

  看到:

  好了,先修改成:

 uid = root
 # //设置运行rsync 进程的用户
 gid = root
 use chroot = no
 max connections = 4
 # pid file = /var/run/rsyncd.pid
 #//CentOS7中yum安装不需指定pid file 否则报错
 lock file=/var/run/rsyncd.lock
 log file = /var/log/rsyncd.log
 # //此文件定义完成后系统会自动创建
 exclude = lost+found/
 transfer logging = yes
 timeout = 900
 ignore nonreadable = yes
 # //同步时跳过没有权限的目录
 dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
 # //传输时不压缩的文件

  3.3重启:

 systemctl restart rsyncd.service

  

  3.4查看rsyncd进程

    ps aux | grep rsyncd

四、Rsync使用-ssh模式
1、本地间同步
环境: 172.16.22.12
# mkdir src
# touch src/{1,2,3,4}
# mkdir dest
# rsync -av src/ dest/ --将 src 目录里的所有的文件同步至 dest 目录(不包含src本身)
# rsync -av src dest/ --将 src 目录包括自己整个同步至 dest 目录
# rsync -avR src/ dest/ --即使 src 后面接有 / ,效果同上
2、局域网间同步
环境: 172.16.22.11
# mkdir src
# touch src/{a,b,c,d}
# mkdir dest
# rsync -av 172.16.22.12:/data/test/src/ dest/ --远程同步至本地,需输入root密码
# rsync -av src/ 172.16.22.12:/data/test/dest/ --本地文件同步至远程
# rsync -av src 172.16.22.12:/data/test/dest/ --整个目录同步过去
# rm -rf src/d --删除一个文件 d
# rsync -av --delete src/ 172.16.22.12:/data/test/dest/ --delete,从目标目录里面删除无关的文件
3、局域网指定用户同步
--172.16.22.12
# useradd george
# passwd george
# mkdir /home/george/test
# touch /home/george/test/g{1,2,3,4}
--172.16.22.11
# rsync -av src '-e ssh -l george' 172.16.22.12:/home/george --本地同步至远程
# rsync -av 172.16.22.12:/home/george/test/g* '-e ssh -l george -p 22' dest/
 
五、Rsync使用-daemon模式
环境:192.168.22.11
1、服务启动方式
1.1、对于负荷较重的 rsync 服务器应该使用独立运行方式
# yum install rsync xinetd --服务安装
# /usr/bin/rsync --daemon
1.2、对于负荷较轻的 rsync 服务器可以使用 xinetd 运行方式
# yum install rsync xinetd --服务安装
# vim /etc/xinetd.d/rsync --配置托管服务,将下项改为 no
disable = no
# /etc/init.d/xinetd start --启动托管服务 xinetd
# chkconfig rsync on
# netstat -ntpl | grep 873 --查看服务是否启动
 
2、配置详解
两种 rsync 服务运行方式都需要配置 rsyncd.conf,其格式类似于 samba 的主配置文件
全局参数
在全局参数部分也可以定义模块参数,这时该参数的值就是所有模块的默认值
address --在独立运行时,用于指定的服务器运行的 IP 地址;由 xinetd 运行时将忽略此参数,使用命令行上的 –address 选项替代。默认本地所有IP
port --指定 rsync 守护进程监听的端口号。 由 xinetd 运行时将忽略此参数,使用命令行上的 –port 选项替代。默认 873
motd file --指定一个消息文件,当客户连接服务器时该文件的内容显示给客户
pid file --rsync 的守护进程将其 PID 写入指定的文件
log file --指定 rsync 守护进程的日志文件,而不将日志发送给 syslog
syslog facility --指定 rsync 发送日志消息给 syslog 时的消息级别
socket options --指定自定义 TCP 选项
lockfile --指定rsync的锁文件存放路径
timeout = 600 --超时时间
模块参数
模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式,这个名字就是在 rsync 客户端看到的名字,类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的
基本模块参数
path --指定当前模块在 rsync 服务器上的同步路径,该参数是必须指定的
comment --给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户
模块控制参数
use chroot = --默认为 true,在传输文件之前首先 chroot 到 path 参数所指定的目录下;优点,安全;缺点,需要 root 权限,不能备份指向 path 外部的符号连接所指向的目录文件
uid = --指定该模块以指定的 UID 传输文件;默认nobody
gid = --指定该模块以指定的 GID 传输文件;默认nobody
max connections --最大并发连接数,0为不限制
lock file --指定支持 max connections 参数的锁文件。默认 /var/run/rsyncd.lock
list --指定当客户请求列出可以使用的模块列表时,该模块是否应该被列出。默认为 true,显示
read only = --只读选择,也就是说,不让客户端上传文件到服务器上。默认true
write only = --只写选择,也就是说,不让客户端从服务器上下载文件。默认false
ignore errors --忽略IO错误。默认true
ignore nonreadable --指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些不应该被备份者获得的文件时是有意义的。 false
timeout = --该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。对于匿名 rsync 服务器来说,理想的数字是 600(单位为秒)。 0 (未限制)
dont compress --用来指定那些在传输之前不进行压缩处理的文件。该选项可以定义一些不允许客户对该模块使用的命令选项列表。必须使用选项全名,而不能是简称。当发生拒绝某个选项的情况时,服务器将报告错误信息然后退出。例如,要防止使用压缩,应该是:”dont compress = *”。 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
模块文件筛选参数
exclude --指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式
exclude from --指定一个包含 exclude 规则定义的文件名,服务器从该文件中读取 exclude 列表定义
include --指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式
include from --指定一个包含 include 规则定义的文件名,服务器从该文件中读取 include 列表定义
模块用户认证参数
auth users --指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块(和系统用户没有任何关系)。用户名和口令以明文方式存放在 secrets file 参数指定的文件中。默认为匿名方式
secrets file --指定一个 rsync 认证口令文件。只有在 auth users 被定义时,该文件才起作用。文件权限必须是 600
strict modes --指定是否监测口令文件的权限。为 true 则口令文件只能被 rsync 服务器运行身份的用户访问,其他任何用户不可以访问该文件。默认为true
模块访问控制参数
hosts allow --用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。默认值为 *
hosts deny --用一个主机列表指定哪些主机客户不允许连接该模块
模块日志参数
transfer logging --使 rsync 服务器将传输操作记录到传输日志文件。默认值为false
log format --指定传输日志文件的字段。默认为:”%o %h [%a] %m (%u) %f %l”
设置了”log file”参数时,在日志每行的开始会添加”%t [%p]“;
可以使用的日志格式定义符如下所示:
%o --操作类型:”send” 或 “recv”
%h --远程主机名
%a --远程IP地址
%m --模块名
%u --证的用户名(匿名时是 null)
%f --文件名
%l --文件长度字符数
%p --该次 rsync 会话的 PID
%P --模块路径
%t --当前时间
%b --实际传输的字节数
%c --当发送文件时,记录该文件的校验码
3、服务端配置
# vim /etc/rsyncd.conf --为 rsyncd 服务编辑配置文件,默认没有,需自己编辑
uid = root --rsync运行权限为root
gid = root --rsync运行权限为root
use chroot = no --是否让进程离开工作目录
max connections = 5 --最大并发连接数,0为不限制
timeout = 600 --超时时间
pid file = /var/run/rsyncd.pid --指定rsync的pid存放路径
lockfile = /var/run/rsyncd.lock --指定rsync的锁文件存放路径
log file = /var/log/rsyncd.log --指定rsync的日志存放路径
[web1] --模块名称
path = /data/test/src --该模块存放文件的基础路径
ignore errors = yes --忽略一些无关的I/O错误
read only = no --客户端可以上传
write only = no --客户端可以下载
hosts allow = 192.168.22.12 --允许连接的客户端主机ip
hosts deny = * --黑名单,*表示任何主机
list = yes
auth users = web --认证此模块的用户名
secrets file = /etc/web.passwd --指定存放“用户名:密码”格式的文件
# mkdir /data/test/src --创建基础目录
# mkdir /data/test/src/george --再创建一个目录
# touch /data/test/src/{1,2,3}
# echo "web:123" > /etc/web.passwd --创建密码文件
# chmod 600 /etc/web.passwd
# service xinetd restart
 
六、测试
1、客户端
环境:192.168.22.12
# yum -y install rsync
# mkdir /data/test
2、小试参数
# rsync -avzP web@192.168.22.11::web1 /data/test/ --输入密码 123;将服务器 web1 模块里的文件同步至 /data/test,参数说明:
-a --参数,相当于-rlptgoD,
-r --是递归
-l --是链接文件,意思是拷贝链接文件
-i --列出 rsync 服务器中的文件
-p --表示保持文件原有权限
-t --保持文件原有时间
-g --保持文件原有用户组
-o --保持文件原有属主
-D --相当于块设备文件
-z --传输时压缩
-P --传输进度
-v --传输时的进度等信息,和-P有点关系
# rsync -avzP --delete web@192.168.22.11::web1 /data/test/ --让客户端与服务器保持完全一致, --delete
# rsync -avzP --delete /data/test/ web@192.168.22.11::web1 --上传客户端文件至服务端
# rsync -avzP --delete /data/test/ web@192.168.22.11::web1/george --上传客户端文件至服务端的 george 目录
# rsync -ir --password-file=/tmp/rsync.password web@192.168.22.11::web1 --递归列出服务端 web1 模块的文件
# rsync -avzP --exclude="*3*" --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/ --同步除了路径以及文件名中包含 “3” *的所有文件
3、通过密码文件同步
# echo "123"> /tmp/rsync.password
# chmod 600 /tmp/rsync.password
# rsync -avzP --delete --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/ --调用密码文件
4、客户端自动同步
# crontab -e
10 0 * * * rsync -avzP --delete --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/
# crontab -l
 
七、数据实时同步
环境:Rsync + Inotify-tools
1、inotify-tools
是为linux下 inotify文件监控工具提供的一套c的开发接口库函数,同时还提供了一系列的命令行工具,这些工具可以用来监控文件系统的事件
inotify-tools是用c编写的,除了要求内核支持 inotify 外,不依赖于其他
inotify-tools提供两种工具:一是inotifywait,它是用来监控文件或目录的变化,二是inotifywatch,它是用来统计文件系统访问的次数
2、安装inotify-tools
下载地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
# yum install –y gcc --安装依赖
# mkdir /usr/local/inotify
# tar -xf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.14
# ./configure --prefix=/usr/local/inotify/
# make && make install
3、设置环境变量
# vim /root/.bash_profile
export PATH=/usr/local/inotify/bin/:$PATH
# source /root/.bash_profile
# echo '/usr/local/inotify/lib' >> /etc/ld.so.conf --加载库文件
# ldconfig
# ln -s /usr/local/inotify/include /usr/include/inotify
4、常用参数
-m --始终保持监听状态,默认触发事件即退出 -r --递归查询目录 -q --打印出监控事件 -e --定义监控的事件,可用参数: access --访问文件 modify --修改文件 attrib --属性变更 open --打开文件 delete --删除文件 create --新建文件 move --文件移动 --fromfile --从文件读取需要监视的文件或者排除的文件,一个文件一行,排除的文件以@开头 --timefmt --时间格式 --format --输出格式 --exclude --正则匹配需要排除的文件,大小写敏感 --excludei --正则匹配需要排除的文件,忽略大小写 %y%m%d %H%M --年月日时钟 %T%w%f%e --时间路径文件名状态
5、测试一
检测源目录中是否有如下动作:modify,create,move,delete,attrib;一旦发生则发布至目标机器;方式为 ssh
src: 192.168.22.11(Rsync + Inotify-tools) dest: 192.168.22.12
两台机器需要做好 ssh 免密登录
# mdkir /data/test/dest/ --dest机器
# mdkir /data/test/src/ --src机器
# rsync -av --delete /data/test/src/ 192.168.22.12:/data/test/dest --测试下命令
# vim /data/test/test.sh
#!/bin/bash
/usr/local/inotify/bin/inotifywait -mrq -e modify,create,move,delete,attrib /data/test/src | while read events
do
rsync -a --delete /data/test/src/ 192.168.22.12:/data/test/dest
echo "`date +'%F %T'` 出现事件:$events" >> /tmp/rsync.log 2>&1
done
# chmod 755 /data/test/test.sh
# /data/test/test.sh &
# echo '/data/test/test.sh &' >> /etc/rc.local --设置开机自启
*******我们可以在目标机上也写一个这样的脚本: rsync -a --delete /data/test/dest/ 192.168.22.11:/data/test/src ;这样可以实现双向同步
 
八、两个服务器间传输文件 实例
  假设有两台服务器,开发服务器dev及线上测试环境test,现在需要从dev将可运行代码更新到test上面去。
注意:每一次传输文件客户端将告诉服务端需要调用哪个传输规则进行传输,而传输规则如下:
 [simba]          //此名字即客户端使用rsync来同步的路径
 path=/usr/local/simba    //实际需要同步的路径
 comment=simba    //和中括号里名字一样就行
 ignore errors
 read only=no   //表示可以pull
 write only=no      //表示可以push
 list=no
 auth users=rsyncuser    //客户端获取文件的身份此用户并不是本机中确实存在的用户
 secrets file=/etc/rsyncd.passwd     //用来认证客户端的秘钥文件 格式 USERNAME:PASSWD 此文件权
                                                         //限一定需要改为600,且属主必须与运行rsync的用户一致。
 hosts allow=*    //允许所有主机访问

好了,我们自己做一个规则,假定test上面接收的目录是: /data/www/helloRsync

 #创建目录
 mkdir  /data/www/helloRsync

而dev上面也是。。。 
请自行创建。 
那么在test上面的/etc/rsyncd.conf添加规则:

 #规则名称,作为测试用规则,直接用这个算了。
 [helloRsync]
 #同步的路径
 path=/data/www/helloRsync
 #规则描述
 comment=测试规则
 ignore errors
 #是否可以pull
 read only=no
 #是否可以push
 write only=no
 list=no
 #下面配置同步时候的身份,注意该身份是在rsync里面定义的,并非是本机实际用户。等下说说如何在rsync里面定义身份。
 #客户端获取文件的身份此用户并不是本机中确实存在的用户
 auth users=rsyncuser
 #//用来认证客户端的秘钥文件 格式 USERNAME:PASSWD 此文件权
 #//限一定需要改为600,且属主必须与运行rsync的用户一致。
 secrets file=/etc/rsyncd.passwd
 #允许所有主机访问
 hosts allow=*
 ---------------------
 作者:码农下的天桥
 来源:CSDN
 原文:https://blog.csdn.net/cdnight/article/details/78861543
 版权声明:本文为博主原创文章,转载请附上博文链接!

给rsync定义身份,如下:

 echo 'rsyncuser:123456'>/etc/rsyncd.passwd   //文件用户名和路径为上面定义,别写错,密码自己定
 chmod 600 /etc/rsyncd.passwd        //修改权限

重启服务。

 systemctl restart rsyncd.service

Linux系统下 Rsync 环境安装搭建的更多相关文章

  1. linux系统下开发环境安装与配置

    安装系统环境 CentOS 6.8 64位 jdk版本 7u80 64位 Tomcat版本 Tomcat7 maven版本 Apache Maven 3.6.0 vsftpd版本 vsftpd-2.2 ...

  2. Linux系统下修改环境变量PATH路径的三种方法

    这里介绍Linux的知识,比如把/etc/apache/bin目录添加到PATH中有三种方法,看完之后你将学会Linux系统下如何修改环境变量PATH路径,需要的朋友可以参考下 电脑中必不可少的就是操 ...

  3. Linux系统下DHCP服务安装部署和使用详解

    一.概述 DHCP :动态主机设置协议(英语:Dynamic Host Configuration Protocol,DHCP)是一个局域网的网络协议,使用UDP协议工作,主要有两个用途:用于内部网或 ...

  4. linux 系统下Anaconda的安装【安装python3.6环境首选】

    如果你不想使用python3.6的源码安装包,不想各种繁琐的配置命令,那Anacoda里边自带的python3.6环境就最合适不过了,下面来介绍下anacoda的安装过程,~so easy~Anaco ...

  5. Linux系统下配置环境变量

    一.环境变量文件介绍 转自:http://blog.csdn.net/cscmaker/article/details/7261921 Linux中环境变量包括系统级和用户级,系统级的环境变量是每个登 ...

  6. Linux系统下源码安装rz/sz命令

    背景:在windows环境下,使用xshell远程连接公司内部做的一个类似centos的系统,但该linux系统yum install有问题,只能源码安装. root 账号登陆后,依次执行以下命令: ...

  7. LINUX系统下PXE网络安装虚拟机

    PXE(preboot execute environment),预启动执行环境.由于安装系统的时候,有时候是大批量的安装:这时使用磁盘或虚拟机进行单个安装,效率太差:所以我们开始使用PXE网络安装L ...

  8. Windows和Linux系统下,虚拟环境安装的全面说明和详细步骤

    虚拟环境的创建和使用 用途: ​ 1.在同一台电脑安装同一个包的不同版本 2.记录项目所用的所有的包的版本,方便部署. 如何使用: 1.创建虚拟环境 mkvirtualenv 虚拟环境名 -p pyt ...

  9. Linux系统下给VMWare安装Tools

    1.进入Linux系统. 2.在VMware的窗口菜单中选VM >> install VMware Tools,虚拟机自动将VMware-tools装入虚拟光驱中. 3.在虚拟光驱里找出V ...

随机推荐

  1. 【转】Android实现点击两次返回键退出

    在做安卓应用是我们经常要判断用户对返回键的操作,一般为了防止误操作都是在用户连续按下两次返回键的时候提示用户是否退出应用程序. 第一种实现的基本原理就是,当按下BACK键时,会被onKeyDown捕获 ...

  2. MVC的路由

    MVC的路由包括以下几部分 路由名称,路由URL,路由的初始值,路由的约束,路由的命名空间 routes.MapRoute( name: "Default", url: " ...

  3. 【原】使用ajax的get异常获取数据的时候,IE浏览器总是有缓存

    //HTML里有下面这样一段代码 //异步获取准备人信息 $.get("PrepSetpNew/PrepareMainCrew.ashx?Method=GetPrepUserInfo&quo ...

  4. opener 属性是一个可读可写的属性,可返回对创建该窗口的 Window 对象的引用

    opener 属性是一个可读可写的属性,可返回对创建该窗口的 Window 对象的引用

  5. 模仿GsonConverter 写的StringConverter 解析String字符串

    使用自己写的StringConverter 来封装的 Converter 来解析String private static final RestAdapter CAMERA_CLIENT_NETWOR ...

  6. 与数据库打交道的Adapter----SimpleCursorAdapter

    http://www.cnblogs.com/wenjiang/p/3196486.html 程序员是这个世界上最神奇的职业,因为几乎所有其他职业的人都能转到该行来,只要他智力正常,有接受过正规的编程 ...

  7. mysql通过SOURCE导入SQL时报错处理

    ERROR: unknown command '\n' Can't connect to the server 网上查询了,多少是编码问题引起,一边是UTF8一边是GBK,反复调整MY.CNF配置文件 ...

  8. CTO这点事(技术,业务,管理,情商,周期,趋势)转

    几乎整个互联网行业都缺 CTO,特别是一些草根背景的创业者,这个问题更加显著.从我自己的感受,身边各种朋友委托我找 CTO 的需求,嗯,算下来超过两位数了,光最近一个月就有 3 个,而且这三家都是刚拿 ...

  9. SQL Server 数据库的自动选项

    自动选项影响SQL Server 可能会自动进行的操作,所有的这些都是bool值,值为on 或off 1. auto_close: 当这个为on 时.数据库在最后一个用户退出后完全关闭,这样数据库就不 ...

  10. A neural chatbot using sequence to sequence model with attentional decoder. This is a fully functional chatbot.

    原项目链接:https://github.com/chiphuyen/stanford-tensorflow-tutorials/tree/master/assignments/chatbot 一个使 ...