作者
豌豆花下猫
责编
郭芮
Fabric 是一个被广泛应用的自动化工具库，是不得不提的自动化运维利器，所以，本文将来介绍一下它。
Fabric 主要用在应用部署与系统管理等任务的自动化，简单轻量级，提供有丰富的 SSH 扩展接口。在 Fabric 1.x 版本中，它混杂了本地及远程两类功能；但自 Fabric 2.x 版本起，它分离出了独立的 Invoke 库，来处理本地的自动化任务，而 Fabric 则聚焦于远程与网络层面的任务。
为了做到这点，Fabric 主要依赖另一大核心组件 Paramiko，它是基于 SSH 协议的远程控制模块，Fabric 在其基础上封装出了更加友好的接口，可以远程执行 Shell 命令、传输文件、批量操作服务器、身份认证、多种配置与设置代理，等等。
Fabric 的版本区分
Python 2 版本已经被官宣在今年元旦“退休”了，未来只会是 Python 3 的舞台。为了适应 Python 版本的非兼容性迁移，很多项目也必须推出自己的新版本（兼容或只 Python 3），其中就包括本文的主角 Fabric。
Fabric 自身存在着 2 个大版本：Fabric 1 和 Fabric 2，而在这个库的基础上，还有两个很容易混淆的相关库：Fabric2 和 Fabric3（注意这里的数字是库名的一部分）。
它们的区分如下：
Fabric 1.x： Python 2.5-2.7，但不 Python 3
Fabric 2.x： Python 2.7 与 3.4+，但不兼容 Fabric 1.x 的 fabfile
Fabric2：等同于 Fabric 2.x，为了使不同版本共存（装一个 1.x 旧版本，再装它作为新版本）
Fabric3：一个基于 Fabric 1.x 的 fork（非官方），兼容 Python 2&3，兼容 Fabric1.x 的 fabfile
综上可见，我们推荐使用官方的 Fabric 2.x 系列版本，但同时要注意，某些过时的教程可能是基于早期版本的（或非官方的 Fabric3，也是基于 Fabric 1.x），需要注意识别。
例如，在 Fabric 1.x 系列中这么写导入：from fabric.api import run；在新版本中将报错：“ImportError: No module named api”（PS：可根据是否有 fabric.api 来判断 Fabric 的版本，就像在 Python 中根据 print 语句或 print 函数来判断版本一样）。同时，由于新版本不老版本的 fabfile，在使用时就可能报错：“No idea what xxx is!”
Fabric 2 是非兼容性版本，相比于前个版本，它主要改进的点有：
Python 2.7 与 3.4+
线程安全，取消了多进程的并发实现
API 围绕 fabric.connection.Connection 进行了重组
全面修改了命令行解析器，允许在每个任务的基础上使用规则的 GNU/POSIX 风格的标志和选项（不再需要 fab mytask:weird = custom,arg = format）
可以声明前置任务与后置任务
……（官方列了10几条[1]，本文不一一罗列）
之前介绍过的 invoke，就是在开发 Fabric 2 时被分离出来的，具体的原因可参见这个回答[2]。总而言之，在使用 Fabric 时，应该注意版本差异的问题。
Fabric 的基本用法
1、安装
首先是安装：pip intall fabric，安装后，可在命令行窗口查看版本信息：>>> fab -V
Fabric 2.5.0
Paramiko 2.7.1
Invoke 1.4.0
执行“fab -V”，以上结果可看出我安装的是 Fabric 2.5.0 版本，同时可看到它的两个核心依赖库 Paramiko 及 Invoke 的版本信息。
2、一个简单的例子
Fabric 主要用于远程任务，即要对远程服务器进行操作，下面是一个简单的例子：
# 可使用任意的文件名
from fabric import Connection
host_ip = 47.xx.xx.xx # 服务器地址
user_name = root # 服务器用户名
password = **** # 服务器密码
cmd = date # shell 命令，查询服务器上的时间
con = Connection(host_ip, user_name, connect_kwargs={password: password})
result = con.run(cmd, hide=True)
print(result)
以上代码，通过账号+密码登录到远程服务器，然后执行date命令，查看服务器的时间，执行结果：
Command exited with status 0.
=== stdout ===
Fri Feb 14 15:33:05 CST 2020
(no stderr)
现在打印的结果中，除了服务器时间，还有一些无关的信息。这是因为它打印的“result”是一个"fabric.runners.Result"类，我们可以把其中的信息解析出来：
print(result.stdout) # Fri Feb 14 15:33:05 CST 2020
print(result.exited) # 0
print(result.ok) # True
print(result.failed) # False
print(result.command) # date
print(result.connection.host) # 47.xx.xx.xx
上述代码使用了 Connection 类及其 run 方法，可在连接的服务器上运行 shell 命令。如果需要用管理员权限，则需替换成 sudo 方法。如果要在本地执行 shell 命令，则需替换成 local 方法。
除此之外，还有 get、put 等方法，详见下文介绍。
3、命令行用法
上例代码可写在任意的 .py 脚本中，然后运行该脚本，或者稍微封装下再导入到其它脚本中使用。
另外，Fabric 还是个命令行工具，可以通过fab命令来执行任务。我们稍微改造一下上例的代码：
# 文件名：fabfile.py
from fabric import Connection
from fabric import task
host_ip = 47.xx.xx.xx # 服务器地址
user_name = root # 服务器用户名
password = **** # 服务器密码
cmd = date # shell 命令，查询服务器上的时间
@task
def test(c):
"""
Get date from remote host.
"""
con = Connection(host_ip, user_name, connect_kwargs={password: password})
result = con.run(cmd, hide=True)
print(result.stdout) # 只打印时间
解释一下，主要的改动点有：
fabfile.py 文件名：入口代码的脚本名必须用这个名字
@task 装饰器：需要从 fabric 中引入这个装饰器，它是对 invoke 的 @task 装饰器的封装，实际用法跟 invoke 一样（注意：它也需要有上下文参数“c”，但实际上它并没有在代码块中使用，而是用了 Connection 类的实例）
然后，在该脚本同级目录的命令行窗口中，可以查看和执行相应的任务：
>>> fab -l
Available tasks:
test Get date from remote host.
>>> fab test
Fri Feb 14 16:10:24 CST 2020
fab 是 Invoke 的扩展实现，继承了很多原有功能，所以执行“fab --help”，与之前介绍的“inv --help”相比，你会发现它们的很多参数与解释都是一模一样的。
fab 针对远程服务的场景，添加了几个命令行选项（已标蓝），其中：
--prompt-for-login-password：令程序在命令行中输入 SSH 登录密码（上例在代码中指定了 connect_kwargs.password 参数，若用此选项，可要求在执行时再手工输入密码）
--prompt-for-passphrase：令程序在命令行中输入 SSH 私钥加密文件的路径
-H 或 --hosts：指定要连接的 host 名
-i 或 --identity：指定 SSH 连接所用的私钥文件
-S 或 --ssh-config：指定运行时要加载的 SSH 配置文件
关于 Fabric 的命令行接口，更多内容可查看文档 [3]。
4、交互式操作
远程服务器上若有交互式提示，要求输入密码或“yes”之类的信息，这就要求 Fabric 能够监听并作出回应。
以下是一个简单示例。引入 invoke 的 Responder，初始化内容是一个正则字符串和回应信息，最后赋值给 watchers 参数：
from invoke import Responder
from fabric import Connection
c = Connection(host)
sudopass = Responder(
pattern=r\[sudo\] password:,
response=mypassword\n)
c.run(sudo whoami, pty=True, watchers=[sudopass])
5、传输文件
本地与服务器间的文件传输是常见用法。Fabric 在这方面做了很好的封装，Connection 类中有以下两个方法可用：
get(*args, **kwargs)：拉取远端文件到本地文件系统或类文件（file-like）对象
put(*args, **kwargs)：推送本地文件或类文件对象到远端文件系统
在已建立连接的情况下，示例：
# (略)
con.get(/opt/123.txt, 123.txt)
con.put(test.txt, /opt/test.txt)
第一个参数指的是要传输的源文件，第二个参数是要传输的目的地，可以指定成文件名或者文件夹（为空或 None 时，使用默认路径）：
# (略)
con.get(/opt/123.txt, ) # 为空时，使用默认路径
con.put(test.txt, /opt/) # 指定路径 /opt/
get 方法的默认存储路径是os.getcwd，而 put 方法的默认存储路径是 home 目录。
6、服务器批量操作
对于服务器集群的批量操作，最简单的实现方法是用 for 循环，然后逐一建立 connection 和执行操作，类似这样：
for host in (web1, web2, mac1):
result = Connection(host).run(uname -s)
但有时候，这样的方案会存在问题：
如果存在多组不同的服务器集群，需要执行不同操作，那么需要写很多 for 循环
如果想把每组操作的结果聚合起来（例如字典形式，key-主机，value-结果），还得在 for 循环之外添加额外的操作
for 循环是顺序同步执行的，效率太低，而且缺乏异常处理机制（若中间出现异常，会导致跳出后续操作）
对于这些问题，Fabric 提出了 Group 的概念，可将一组主机定义成一个 Group，它的 API 方法跟 Connection 一样，即一个 Group 可简化地视为一个 Connection。
然后，开发者只需要简单地操作这个 Group，最后得到一个结果集即可，减少了自己在异常处理及执行顺序上的工作。
Fabric 提供了一个 fabric.group.Group 基类，并由其派生出两个子类，区别是：
SerialGroup(*hosts, **kwargs)：按串行方式执行操作
ThreadingGroup(*hosts, **kwargs)：按并发方式执行操作
Group 的类型决定了主机集群的操作方式，我们只需要做出选择即可。然后，它们的执行结果是一个fabric.group.GroupResult类，它是 dict 的子类，存储了每个主机 connection 及其执行结果的对应关系。
>>> from fabric import SerialGroup
>>> results = SerialGroup(web1, web2, mac1).run(uname -s)
>>> print(results)
<GroupResult: {
<Connection web1>: <CommandResult uname -s>,
<Connection web2>: <CommandResult uname -s>,
<Connection mac1>: <CommandResult uname -s>,
}>
另外，GroupResult 还提供了 failed 与 succeeded 两个属性，可以取出失败/成功的子集。由此，也可以方便地批量进行二次操作。
Fabric 的进阶用法
1、身份认证
Fabric 使用 SSH 协议来建立远程会话，它是一种相对安全的基于应用层的加密传输协议。
基本来说，它有两种级别的安全认证方式：
基于口令的身份认证：使用账号与密码来登录远程主机，安全性较低，容易受到“中间人”攻击
基于密钥的身份认证：使用密钥对方式（公钥放服务端，私钥放客户端），不会受到“中间人”攻击，但登录耗时较长
前文在举例时，我们用了第一种方式，即通过指定 connect_kwargs.password 参数，使用口令来登录。
Fabric 当然也采用第二种方式，有三种方法来指定私钥文件的路径，优先级如下：
优先查找 connect_kwargs.key_filename 参数，找到则用作私钥
其次查找命令行用法的 --identify 选项
最后默认使用操作系统的 ssh_config 文件中的IdentityFile的值
如果私钥文件本身还被加密过，则需要使用 connect_kwargs.passphrase 参数。
2、配置文件
Fabric 把一些参数项与业务代码分离，即通过配置文件来管理它们，例如前面提到的密码和私钥文件，可写在配置文件中，避免与代码耦合。
Fabric 基本沿用了 Invoke 的配置文件体系（官方文档中列出了 9 层），同时增加了一些跟 SSH 相关的配置项。的文件格式有 .yaml、.yml、.json 与 .py（按此次序排优先级），推荐使用 yaml 格式（后缀可简写成 yml）。
其中，比较常用的配置文件有：
系统级的配置文件：/etc/fabric.yml
用户级的配置文件：~/.fabric.yml（Windows 在 C:\Users\xxx 下）
项目级的配置文件：/myproject/fabric.yml
以上文件的优先级递减，由于我本机是 Windows，为了方便，我在用户目录建一个".fabric.yml"文件，内容如下：
# filename:.fabric.yml
user: root
connect_kwargs:
password: xxxx
# 若用密钥，则如下
# key_filename:
# - your_key_file
我们把用户名和密码抽离出来了，所以 fabfile 中就可以删掉这些内容：
# 文件名：fabfile.py
from fabric import Connection
from fabric import task
host_ip = 47.xx.xx.xx # 服务器地址
cmd = date # shell 命令，查询服务器上的时间
@task
def test(c):
"""
Get date from remote host.
"""
con = Connection(host_ip)
result = con.run(cmd, hide=True)
print(result.stdout)
然后，在命令行中执行：
>>> fab test
Tue Feb 18 10:33:38 CST 2020
配置文件中还可以设置很多参数，详细可查看文档 [4]。
3、网络网关
如果远程服务是网络隔离的，无法直接被访问到（处在不同局域网），这时候需要有网关/代理/隧道，这个中间层的机器通常被称为跳板机或堡垒机。
Fabric 中有两种网关解决方案，对应到 OpenSSH 客户端的两种选项：
ProxyJump：简单，开销少，可嵌套
ProxyCommand：开销大，不可嵌套，更灵活
在创建 Fabric 的 Connection 对象时，可通过指定 gateway 参数来应用这两种方案：
ProxyJump 方式就是在一个 Connection 中嵌套一个 Connection 作为前者的网关，后者使用 SSH 协议的direct-tcpip为前者打开与实际远程主机的连接，而且后者还可以继续嵌套使用自己的网关。
from fabric import Connection
c = Connection(internalhost, gateway=Connection(gatewayhost))
ProxyCommand 方式是客户端在本地用 ssh 命令（类似“ssh -W %h:%p gatewayhost”），创建一个子进程，该子进程与服务端进行通信，同时它能读取标准输入和输出。
这部分的实现细节分别在paramiko.channel.Channel和paramiko.proxy.ProxyCommand，除了在参数中指定，也可以在 Fabric 的配置文件中定义。更多细节，请查阅文档 [5]。
小结
Fabric 的非兼容版本造成了一定程度的社区分裂，这无疑跟 Python 3 的推行脱不开关系，但是我们有理由相信，新版本优胜于老版本。
网上关于 Fabric 的文章，很多已过时了。本文针对最新的官方文档，梳理出了较为全面的知识点，可以带大家很好地入门 Fabric。
读完本文，相信读者们只需要几分钟就能轻松上手使用。
作者：豌豆花下猫，生于广东毕业于武大，现为苏漂程序员，有一些极客思维，也有一些人文情怀，有一些温度，还有一些态度，「Python猫」（python_cat）。
声明：本文系作者投稿，版权归作者所有。
新勋章，新奖品，高流量，还有更多福利等你来拿～
☞360金融新任首席科学家：别指望AI Lab做成中台
☞搞懂微服务，从捕捉一头野猪说起
☞AI 图像智能修复老照片，效果惊艳到我了！
附代码
☞调查了 10,975 位 Go 语言开发者，我们有了这些发现！
☞架构师前辈告诉你：代码该如何才能自己写得容易，别人看得也不痛苦
☞用 Python 实现手机自动答题，这下百万答题游戏谁也玩不过我！
