如何高效地遠程部署？自動化運維利器 Fabric 教程

Fabric 也是一個被廣泛應用的自動化工具庫，是不得不提的自動化運維利器，所以，本文將來介紹一下它。

Fabric 主要用在應用部署與系統管理等任務的自動化，簡單輕量級，提供有豐富的 SSH 擴展接口。在 Fabric 1.x 版本中，它混雜了本地及遠程兩類功能；但自 Fabric 2.x 版本起，它分離出了獨立的 Invoke 庫，來處理本地的自動化任務，而 Fabric 則聚焦於遠程與網絡層面的任務。

爲了做到這點，Fabric 主要依賴另一大核心組件 Paramiko，它是基於 SSH 協議的遠程控制模塊，Fabric 在其基礎上封裝出了更加友好的接口，可以遠程執行 Shell 命令、傳輸文件、批量操作服務器、身份認證、多種配置與設置代理，等等。

一、Fabric 的版本區分

Python 2 版本已經被官宣在今年元旦 “退休” 了，未來只會是 Python 3 的舞臺。爲了適應 Python 版本的非兼容性遷移，很多項目也必須推出自己的新版本（兼容或只支持 Python 3），其中就包括本文的主角 Fabric。

Fabric 自身存在着 2 個大版本：Fabric 1 和 Fabric 2，而在這個庫的基礎上，還有兩個很容易混淆的相關庫：Fabric2 和 Fabric3（注意這裏的數字是庫名的一部分）。

它們的區分如下：

綜上可見，我們推薦使用官方的 Fabric 2.x 系列版本，但同時要注意，某些過時的教程可能是基於早期版本的（或非官方的 Fabric3，也是基於 Fabric 1.x），需要注意識別。

例如，在 Fabric 1.x 系列中這麼寫導入：from fabric.api import run；在新版本中將報錯：“ImportError: No module named api”（PS：可根據是否有 fabric.api 來判斷 Fabric 的版本，就像在 Python 中根據 print 語句或 print 函數來判斷版本一樣）。同時，由於新版本不支持老版本的 fabfile，在使用時就可能報錯：“No idea what 'xxx' is!”

Fabric 2 是非兼容性版本，相比於前個版本，它主要改進的點有：

之前介紹過的 invoke，就是在開發 Fabric 2 時被分離出來的，具體的原因可參見這個回答 [2]。總而言之，在使用 Fabric 時，應該注意版本差異的問題。

二、Fabric 的基本用法

1、安裝

首先是安裝：pip intall fabric ，安裝後，可在命令行窗口查看版本信息：

>>> fab -V
Fabric 2.5.0
Paramiko 2.7.1
Invoke 1.4.0

執行 “fab -V”，以上結果可看出我安裝的是 Fabric 2.5.0 版本，同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本信息。

2、一個簡單的例子

Fabric 主要用於遠程任務，即要對遠程服務器進行操作，下面是一個簡單的例子：

# 可使用任意的文件名
from fabric import Connection

host_ip = '47.xx.xx.xx'  # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****'  # 服務器密碼
cmd = 'date'  # shell 命令，查詢服務器上的時間

con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)

print(result)

以上代碼，通過賬號 + 密碼登錄到遠程服務器，然後執行date命令，查看服務器的時間，執行結果：

Command exited with status 0.
=== stdout ===
Fri Feb 14 15:33:05 CST 2020

(no stderr)

現在打印的結果中，除了服務器時間，還有一些無關的信息。這是因爲它打印的 “result” 是一個 "fabric.runners.Result" 類，我們可以把其中的信息解析出來：

print(result.stdout)  # Fri Feb 14 15:33:05 CST 2020
print(result.exited)  # 0
print(result.ok)      # True
print(result.failed)  # False
print(result.command) # date
print(result.connection.host) # 47.xx.xx.xx

上述代碼使用了 Connection 類及其 run() 方法，可在連接的服務器上運行 shell 命令。如果需要用管理員權限，則需替換成 sudo() 方法。如果要在本地執行 shell 命令，則需替換成 local() 方法。

除此之外，還有 get()、put() 等方法，詳見下文介紹。

3、命令行用法

上例代碼可寫在任意的 .py 腳本中，然後運行該腳本，或者稍微封裝下再導入到其它腳本中使用。

另外，Fabric 還是個命令行工具，可以通過fab命令來執行任務。我們稍微改造一下上例的代碼：

# 文件名：fabfile.py
from fabric import Connection
from fabric import task

host_ip = '47.xx.xx.xx'  # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****'  # 服務器密碼
cmd = 'date'  # shell 命令，查詢服務器上的時間

@task
def test(c):
    """
    Get date from remote host.
    """
    con = Connection(host_ip, user_name, connect_kwargs={'password': password})
    result = con.run(cmd, hide=True)
    print(result.stdout)  # 只打印時間

解釋一下，主要的改動點有：

然後，在該腳本同級目錄的命令行窗口中，可以查看和執行相應的任務：

>>> fab -l
Available tasks:
  test   Get date from remote host.

>>> fab test
Fri Feb 14 16:10:24 CST 2020

fab 是 Invoke 的擴展實現，繼承了很多原有功能，所以執行 “fab --help”，與之前介紹的“inv --help” 相比，你會發現它們的很多參數與解釋都是一模一樣的。

fab 針對遠程服務的場景，添加了幾個命令行選項（已標藍），其中：

關於 Fabric 的命令行接口，更多內容可查看文檔 [3]。

4、交互式操作

遠程服務器上若有交互式提示，要求輸入密碼或 “yes” 之類的信息，這就要求 Fabric 能夠監聽並作出迴應。

以下是一個簡單示例。引入 invoke 的 Responder，初始化內容是一個正則字符串和迴應信息，最後賦值給 watchers 參數：

from invoke import Responder
from fabric import Connection
c = Connection('host')
sudopass = Responder(
     pattern=r'\[sudo\] password:',
     response='mypassword\n')
c.run('sudo whoami', pty=True, watchers=[sudopass])

5、傳輸文件

本地與服務器間的文件傳輸是常見用法。Fabric 在這方面做了很好的封裝，Connection 類中有以下兩個方法可用：

在已建立連接的情況下，示例：

# (略)
con.get('/opt/123.txt', '123.txt')
con.put('test.txt', '/opt/test.txt')

第一個參數指的是要傳輸的源文件，第二個參數是要傳輸的目的地，可以指定成文件名或者文件夾（爲空或 None 時，使用默認路徑）：

# (略)
con.get('/opt/123.txt', '')  # 爲空時，使用默認路徑
con.put('test.txt', '/opt/') # 指定路徑 /opt/

get() 方法的默認存儲路徑是os.getcwd ，而 put() 方法的默認存儲路徑是 home 目錄。

6、服務器批量操作

對於服務器集羣的批量操作，最簡單的實現方法是用 for 循環，然後逐一建立 connection 和執行操作，類似這樣：

for host in ('web1', 'web2', 'mac1'):
	result = Connection(host).run('uname -s')

但有時候，這樣的方案會存在問題：

對於這些問題，Fabric 提出了 Group 的概念，可將一組主機定義成一個 Group，它的 API 方法跟 Connection 一樣，即一個 Group 可簡化地視爲一個 Connection。

然後，開發者只需要簡單地操作這個 Group，最後得到一個結果集即可，減少了自己在異常處理及執行順序上的工作。

Fabric 提供了一個 fabric.group.Group 基類，並由其派生出兩個子類，區別是：

Group 的類型決定了主機集羣的操作方式，我們只需要做出選擇即可。然後，它們的執行結果是一個fabric.group.GroupResult類，它是 dict 的子類，存儲了每個主機 connection 及其執行結果的對應關係。

>>> from fabric import SerialGroup
>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s')
>>> print(results)
<groupresult: { <connection 'web1'>: <commandresult 'uname -s'>,
    <connection 'web2'>: <commandresult 'uname -s'>,
    <connection 'mac1'>: <commandresult 'uname -s'>,
}>

另外，GroupResult 還提供了 failed 與 succeeded 兩個屬性，可以取出失敗 / 成功的子集。由此，也可以方便地批量進行二次操作。 原文

三、Fabric 的進階用法

1、身份認證

Fabric 使用 SSH 協議來建立遠程會話，它是一種相對安全的基於應用層的加密傳輸協議。

基本來說，它有兩種級別的安全認證方式：

前文在舉例時，我們用了第一種方式，即通過指定 connect_kwargs.password 參數，使用口令來登錄。

Fabric 當然也支持採用第二種方式，有三種方法來指定私鑰文件的路徑，優先級如下：

如果私鑰文件本身還被加密過，則需要使用 connect_kwargs.passphrase 參數。

2、配置文件

Fabric 支持把一些參數項與業務代碼分離，即通過配置文件來管理它們，例如前面提到的密碼和私鑰文件，可寫在配置文件中，避免與代碼耦合。

Fabric 基本沿用了 Invoke 的配置文件體系（官方文檔中列出了 9 層），同時增加了一些跟 SSH 相關的配置項。支持的文件格式有 .yaml、.yml、.json 與 .py（按此次序排優先級），推薦使用 yaml 格式（後綴可簡寫成 yml）。

其中，比較常用的配置文件有：

以上文件的優先級遞減，由於我本機是 Windows，爲了方便，我在用戶目錄建一個 ".fabric.yml" 文件，內容如下：

# filename:.fabric.yml

user: root
connect_kwargs:
  password: xxxx
# 若用密鑰，則如下
#  key_filename:
#    - your_key_file

我們把用戶名和密碼抽離出來了，所以 fabfile 中就可以刪掉這些內容：

# 文件名：fabfile.py
from fabric import Connection
from fabric import task

host_ip = '47.xx.xx.xx'  # 服務器地址
cmd = 'date'  # shell 命令，查詢服務器上的時間

@task
def test(c):
    """
    Get date from remote host.
    """
    con = Connection(host_ip)
    result = con.run(cmd, hide=True)
    print(result.stdout)

然後，在命令行中執行：

>>> fab test
Tue Feb 18 10:33:38 CST 2020

配置文件中還可以設置很多參數，詳細可查看文檔 [4]。

3、網絡網關

如果遠程服務是網絡隔離的，無法直接被訪問到（處在不同局域網），這時候需要有網關 / 代理 / 隧道，這個中間層的機器通常被稱爲跳板機或堡壘機。

Fabric 中有兩種網關解決方案，對應到 OpenSSH 客戶端的兩種選項：

在創建 Fabric 的 Connection 對象時，可通過指定 gateway 參數來應用這兩種方案：

ProxyJump 方式就是在一個 Connection 中嵌套一個 Connection 作爲前者的網關，後者使用 SSH 協議的direct-tcpip 爲前者打開與實際遠程主機的連接，而且後者還可以繼續嵌套使用自己的網關。

from fabric import Connection

c = Connection('internalhost', gateway=Connection('gatewayhost'))

ProxyCommand 方式是客戶端在本地用 ssh 命令（類似 “ssh -W %h:%p gatewayhost”），創建一個子進程，該子進程與服務端進行通信，同時它能讀取標準輸入和輸出。

這部分的實現細節分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand，除了在參數中指定，也可以在 Fabric 支持的配置文件中定義。更多細節，請查閱文檔 [5]。

四、小結

Fabric 的非兼容版本造成了一定程度的社區分裂，這無疑跟 Python 3 的推行脫不開關係，但是我們有理由相信，新版本優勝於老版本。

網上關於 Fabric 的文章，很多已過時了。本文針對最新的官方文檔，梳理出了較爲全面的知識點，可以帶大家很好地入門 Fabric。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/3rzklpsGd4Z05pC8mMmetw

猜你喜歡