阮一峯的 rsync 用法教程

一、簡介

rsync 是一個常用的 Linux 應用程序,用於文件同步。

它可以在本地計算機與遠程計算機之間,或者兩個本地目錄之間同步文件(但不支持兩臺遠程計算機之間的同步)。它也可以當作文件複製工具,替代cpmv命令。

它名稱裏面的r指的是 remote,rsync 其實就是 "遠程同步"(remote sync)的意思。與其他文件傳輸工具(如 FTP 或 scp)不同,rsync 的最大特點是會檢查發送方和接收方已有的文件,僅傳輸有變動的部分(默認規則是文件大小或修改時間有變動)。

二、安裝

如果本機或者遠程計算機沒有安裝 rsync,可以用下面的命令安裝。

# Debian
$ sudo apt-get install rsync

# Red Hat
$ sudo yum install rsync

# Arch Linux
$ sudo pacman -S rsync

注意,傳輸的雙方都必須安裝 rsync。

三、基本用法

3.1 -r 參數

本機使用 rsync 命令時,可以作爲cpmv命令的替代方法,將源目錄同步到目標目錄。

$ rsync -r source destination

上面命令中,-r表示遞歸,即包含子目錄。注意,-r是必須的,否則 rsync 運行不會成功。source目錄表示源目錄,destination表示目標目錄。

如果有多個文件或目錄需要同步,可以寫成下面這樣。

$ rsync -r source1 source2 destination

上面命令中,source1source2都會被同步到destination目錄。

3.2 -a 參數

-a參數可以替代-r,除了可以遞歸同步以外,還可以同步元信息(比如修改時間、權限等)。由於 rsync 默認使用文件大小和修改時間決定文件是否需要更新,所以-a-r更有用。下面的用法纔是常見的寫法。

$ rsync -a source destination

目標目錄destination如果不存在,rsync 會自動創建。執行上面的命令後,源目錄source被完整地複製到了目標目錄destination下面,即形成了destination/source的目錄結構。

如果只想同步源目錄source裏面的內容到目標目錄destination,則需要在源目錄後面加上斜槓。

$ rsync -a source/ destination

上面命令執行後,source目錄裏面的內容,就都被複制到了destination目錄裏面,並不會在destination下面創建一個source子目錄。

3.3 -n 參數

如果不確定 rsync 執行後會產生什麼結果,可以先用-n--dry-run參數模擬執行的結果。

$ rsync -anv source/ destination

上面命令中,-n參數模擬命令執行的結果,並不真的執行命令。-v參數則是將結果輸出到終端,這樣就可以看到哪些內容會被同步。

3.4 --delete 參數

默認情況下,rsync 只確保源目錄的所有內容(明確排除的文件除外)都複製到目標目錄。它不會使兩個目錄保持相同,並且不會刪除文件。如果要使得目標目錄成爲源目錄的鏡像副本,則必須使用--delete參數,這將刪除只存在於目標目錄、不存在於源目錄的文件。

$ rsync -av --delete source/ destination

上面命令中,--delete參數會使得destination成爲source的一個鏡像。

四、排除文件

4.1 --exclude 參數

有時,我們希望同步時排除某些文件或目錄,這時可以用--exclude參數指定排除模式。

$ rsync -av --exclude='*.txt' source/ destination
# 或者
$ rsync -av --exclude '*.txt' source/ destination

上面命令排除了所有 TXT 文件。

注意,rsync 會同步以 "點" 開頭的隱藏文件,如果要排除隱藏文件,可以這樣寫--exclude=".*"

如果要排除某個目錄裏面的所有文件,但不希望排除目錄本身,可以寫成下面這樣。

$ rsync -av --exclude 'dir1/*' source/ destination

多個排除模式,可以用多個--exclude參數。

$ rsync -av --exclude 'file1.txt' --exclude 'dir1/*' source/ destination

多個排除模式也可以利用 Bash 的大擴號的擴展功能,只用一個--exclude參數。

$ rsync -av --exclude={'file1.txt','dir1/*'} source/ destination

如果排除模式很多,可以將它們寫入一個文件,每個模式一行,然後用--exclude-from參數指定這個文件。

$ rsync -av --exclude-from='exclude-file.txt' source/ destination

4.2 --include 參數

--include參數用來指定必須同步的文件模式,往往與--exclude結合使用。

$ rsync -av --include="*.txt" --exclude='*' source/ destination

上面命令指定同步時,排除所有文件,但是會包括 TXT 文件。

五、遠程同步

5.1 SSH 協議

rsync 除了支持本地兩個目錄之間的同步,也支持遠程同步。它可以將本地內容,同步到遠程服務器。

$ rsync -av source/ username@remote_host:destination

也可以將遠程內容同步到本地。

$ rsync -av username@remote_host:source/ destination

rsync 默認使用 SSH 進行遠程登錄和數據傳輸。

由於早期 rsync 不使用 SSH 協議,需要用-e參數指定協議,後來才改的。所以,下面-e ssh可以省略。

$ rsync -av -e ssh source/ user@remote_host:/destination

但是,如果 ssh 命令有附加的參數,則必須使用-e參數指定所要執行的 SSH 命令。

$ rsync -av -e 'ssh -p 2234' source/ user@remote_host:/destination

上面命令中,-e參數指定 SSH 使用 2234 端口。

5.2 rsync 協議

除了使用 SSH,如果另一臺服務器安裝並運行了 rsync 守護程序,則也可以用rsync://協議(默認端口 873)進行傳輸。具體寫法是服務器與目標目錄之間使用雙冒號分隔::

$ rsync -av source/ 192.168.122.32::module/destination

注意,上面地址中的module並不是實際路徑名,而是 rsync 守護程序指定的一個資源名,由管理員分配。

如果想知道 rsync 守護程序分配的所有 module 列表,可以執行下面命令。

$ rsync rsync://192.168.122.32

rsync 協議除了使用雙冒號,也可以直接用rsync://協議指定地址。

$ rsync -av source/ rsync://192.168.122.32/module/destination

六、增量備份

rsync 的最大特點就是它可以完成增量備份,也就是默認只複製有變動的文件。

除了源目錄與目標目錄直接比較,rsync 還支持使用基準目錄,即將源目錄與基準目錄之間變動的部分,同步到目標目錄。

具體做法是,第一次同步是全量備份,所有文件在基準目錄裏面同步一份。以後每一次同步都是增量備份,只同步源目錄與基準目錄之間有變動的部分,將這部分保存在一個新的目標目錄。這個新的目標目錄之中,也是包含所有文件,但實際上,只有那些變動過的文件是存在於該目錄,其他沒有變動的文件都是指向基準目錄文件的硬鏈接。

--link-dest參數用來指定同步時的基準目錄。

$ rsync -a --delete --link-dest /compare/path /source/path /target/path

上面命令中,--link-dest參數指定基準目錄/compare/path,然後源目錄/source/path跟基準目錄進行比較,找出變動的文件,將它們拷貝到目標目錄/target/path。那些沒變動的文件則會生成硬鏈接。這個命令的第一次備份時是全量備份,後面就都是增量備份了。

下面是一個腳本示例,備份用戶的主目錄。

#!/bin/bash

# A script to perform incremental backups using rsync

set -o errexit
set -o nounset
set -o pipefail

readonly SOURCE_DIR="${HOME}"
readonly BACKUP_DIR="/mnt/data/backups"
readonly DATETIME="$(date '+%Y-%m-%d_%H:%M:%S')"
readonly BACKUP_PATH="${BACKUP_DIR}/${DATETIME}"
readonly LATEST_LINK="${BACKUP_DIR}/latest"

mkdir -p "${BACKUP_DIR}"

rsync -av --delete \
  "${SOURCE_DIR}/" \
  --link-dest "${LATEST_LINK}" \
  --exclude=".cache" \
  "${BACKUP_PATH}"

rm -rf "${LATEST_LINK}"
ln -s "${BACKUP_PATH}" "${LATEST_LINK}"

上面腳本中,每一次同步都會生成一個新目錄${BACKUP_DIR}/${DATETIME},並將軟鏈接${BACKUP_DIR}/latest指向這個目錄。下一次備份時,就將${BACKUP_DIR}/latest作爲基準目錄,生成新的備份目錄。最後,再將軟鏈接${BACKUP_DIR}/latest指向新的備份目錄。

七、配置項

-a--archive參數表示存檔模式,保存所有的元數據,比如修改時間(modification time)、權限、所有者等,並且軟鏈接也會同步過去。

--append參數指定文件接着上次中斷的地方,繼續傳輸。

--append-verify參數跟--append參數類似,但會對傳輸完成後的文件進行一次校驗。如果校驗失敗,將重新發送整個文件。

-b--backup參數指定在刪除或更新目標目錄已經存在的文件時,將該文件更名後進行備份,默認行爲是刪除。更名規則是添加由--suffix參數指定的文件後綴名,默認是~

--backup-dir參數指定文件備份時存放的目錄,比如--backup-dir=/path/to/backups

--bwlimit參數指定帶寬限制,默認單位是 KB/s,比如--bwlimit=100

-c--checksum參數改變rsync的校驗方式。默認情況下,rsync 只檢查文件的大小和最後修改日期是否發生變化,如果發生變化,就重新傳輸;使用這個參數以後,則通過判斷文件內容的校驗和,決定是否重新傳輸。

--delete參數刪除只存在於目標目錄、不存在於源目標的文件,即保證目標目錄是源目標的鏡像。

-e參數指定使用 SSH 協議傳輸數據。

--exclude參數指定排除不進行同步的文件,比如--exclude="*.iso"

--exclude-from參數指定一個本地文件,裏面是需要排除的文件模式,每個模式一行。

--existing--ignore-non-existing參數表示不同步目標目錄中不存在的文件和目錄。

-h參數表示以人類可讀的格式輸出。

-h--help參數返回幫助信息。

-i參數表示輸出源目錄與目標目錄之間文件差異的詳細情況。

--ignore-existing參數表示只要該文件在目標目錄中已經存在,就跳過去,不再同步這些文件。

--include參數指定同步時要包括的文件,一般與--exclude結合使用。

--link-dest參數指定增量備份的基準目錄。

-m參數指定不同步空目錄。

--max-size參數設置傳輸的最大文件的大小限制,比如不超過 200KB(--max-size='200k')。

--min-size參數設置傳輸的最小文件的大小限制,比如不小於 10KB(--min-size=10k)。

-n參數或--dry-run參數模擬將要執行的操作,而並不真的執行。配合-v參數使用,可以看到哪些內容會被同步過去。

-P參數是--progress--partial這兩個參數的結合。

--partial參數允許恢復中斷的傳輸。不使用該參數時,rsync會刪除傳輸到一半被打斷的文件;使用該參數後,傳輸到一半的文件也會同步到目標目錄,下次同步時再恢復中斷的傳輸。一般需要與--append--append-verify配合使用。

--partial-dir參數指定將傳輸到一半的文件保存到一個臨時目錄,比如--partial-dir=.rsync-partial。一般需要與--append--append-verify配合使用。

--progress參數表示顯示進展。

-r參數表示遞歸,即包含子目錄。

--remove-source-files參數表示傳輸成功後,刪除發送方的文件。

--size-only參數表示只同步大小有變化的文件,不考慮文件修改時間的差異。

--suffix參數指定文件名備份時,對文件名添加的後綴,默認是~

-u--update參數表示同步時跳過目標目錄中修改時間更新的文件,即不同步這些有更新的時間戳的文件。

-v參數表示輸出細節。-vv表示輸出更詳細的信息,-vvv表示輸出最詳細的信息。

--version參數返回 rsync 的版本。

-z參數指定同步時壓縮數據。

八、參考鏈接

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源http://www.ruanyifeng.com/blog/2020/08/rsync.html