實戰 MySQL 高可用架構
官網:www.passjava.cn
你好,我是悟空。
業界流傳一句話:沒有做過運維的程序員不是好架構師。
不知是真是假。
前言
對於 MySQL 數據庫作爲各個業務系統的存儲介質,在系統中承擔着非常重要的職責,如果數據庫崩了,那麼對於讀和寫數據庫的操作都會受到影響。如果不能迅速恢復,對業務的影響是非常大的。之前 B 站不是出過一次事故麼,2 小時才恢復過來,詳細可以看之前寫的文章。
上次折騰完 ELK 日誌檢索平臺後,開發環境可以正常查詢日誌了。最近在做系統高可用相關的工作,這次我來分享下 MySQL 雙主 + Keepalived 的高可用落地和踩坑之路。
一、方案選擇
對於 MySQL 的高可用,主要分爲兩步,配置 MySQL 主主模式和 keepalived 軟件。拓撲圖如下所示:
MySQL 數據庫的主主模式
兩個數據庫分別部署在兩臺服務器上,相互同步數據,但是隻有一個提供給外部訪問,當一個宕機後,另外一個可以繼續提供服務,在沒有 keepalived 軟件的幫助下,只能手動切換
keepalived 監測、自動重啓、流量切換
-
檢測和重啓:兩臺服務器上都部署 keepalived 軟件,定時檢測 MySQL 服務是否正常,如果一個數據庫服務崩了,keepalived 會用腳本嘗試重啓 mysql 服務。
-
備份:兩個 keepalived 服務都提供了虛擬 IP 供客戶端使用,但是流量只會轉到一臺 MySQL 服務上。
-
虛擬 IP:keepalived 配置好了後,會有一個 虛擬 IP,對於客戶端來說,不關心連接的是哪臺 MySQL,訪問虛擬 IP 就可以了。
-
流量切換:如果客戶端正在訪問的 MySQL 服務崩了後,keepalived 會用我們寫的腳本自動重啓 MySQL,如果重啓失敗,腳本主動停掉 keepalived,客戶端的流量就不會訪問到這臺服務器上的 MySQL 服務,後續訪問的流量都會切到另外一臺 MySQL 服務。
檢測和重啓的原理如下所示:
需要配置的內容如下:
-
兩臺 Ubuntu 服務器上啓動 MySQL 容器。
-
配置 MySQL 主從複製架構。
-
將 MySQL 主從改爲主主複製架構。
-
兩臺服務器搭建 keepalived 環境監控 MySQL 和自動重啓 MySQL。
二、主主複製的原理
對於 MySQL 的主主架構,其實原理就是兩臺服務器互爲主從,雙向複製。而複製的原理如下:
主從複製主要有以下流程:
-
主庫將數據的改變記錄到 binlog 中;
-
從庫會在一定時間間隔內對 master 的 binlog 進行檢查,如果發生改變,則開始一個 I/O Thread 請求讀取 master 中 binlog ;
-
同時主庫爲每個 I/O 線程啓動一個 dump 線程,用於向其發送二進制事件,並保存至從節點本地的中繼日誌中,從庫將啓動 SQL 線程從中繼日誌中讀取二進制日誌,在本地重放,使得其數據和主節點的保持一致,最後 I/O Thread 和 SQL Thread 將進入睡眠狀態,等待下一次被喚醒;
大白話就是:
從庫會生成兩個線程, 一個 I/O 線程, 一個 SQL 線程;
I/O 線程會去請求主庫的 binlog,並將得到的 binlog 寫到本地的 relay-log (中繼日誌) 文件中;
主庫會生成一個 dump 線程, 用來給從庫 I/O 線程傳 binlog;
SQL 線程, 會讀取 relay log 文件中的日誌, 並解析成 SQL 語句逐一執行;
接下來我們先把 MySQL 的基礎環境在兩臺 Ubuntu 服務器上搭建好,後續操作都是基於這個來做的。
三、配置 MySQL 環境
作爲演示,我在本機啓動了兩臺 Ubuntu 虛擬機,安裝有 docker。因爲我們的測試和生產環境是用 Docker 跑的,所以我將環境的鏡像打包後,還原到我的虛擬機上面。
3.1 備份和還原 mysql 鏡像
保存測試環境的 mysql 鏡像
sudo docker save -o mysql.tar hcr:5000/hschub/hscmysql:0.0.2
sudo chmod 777 mysql.tar
兩臺機器導入鏡像
sudo docker load -i mysql.tar
啓動容器,需要注意的是需要映射本地文件夾。
sudo docker run -p 3306:3306 --name mysql \
-v /home/hss/mysql/data:/var/lib/mysql \
-v /home/hss/mysql/etc/mysql:/etc/mysql \
-e MYSQL_ROOT_PASSWORD='123456' \
-d 46b
-v 代表映射的文件夾,-d 表示後臺運行,46b 代表鏡像 id。
進入容器,連接 mysql,node1 的 mysql 密碼是 123456,node2 是 123456
# 查詢容器 id
docker ps
# 進入 mysql 容器
docker exec -it <容器 id> /bin/bash
# 連接 mysql
mysql -u root -p
接下來我們配置 MySQL 的主從架構,需要注意的是後續搭建的主主架構是基於主從架構來的,區別就是修改了一部分配置。
四、配置 MySQL 的主從架構
拓撲結構:
-
192.168.56.11 node1,主節點
-
192.168.56.12 node2,從節點
4.1 修改主節點配置文件
修改 /home/hss/mysql/etc/mysql/my.cnf 文件
server_id = 11
log_bin = /var/lib/mysql/log/mysql-bin
binlog-ignore-db=mysql
binlog_format= mixed
sync_binlog=100
log_slave_updates = 1
binlog_cache_size=32m
max_binlog_cache_size=64m
max_binlog_size=512m
relay_log = /var/lib/mysql/log/relay-bin
relay_log_index = /var/lib/mysql/log/relay-bin.index
master_info_repository=TABLE
relay-log-info-repository=TABLE
relay-log-recovery
創建 /home/hss/mysql/data/log/mysql-bin 文件夾
創建 /home/hss/mysql/data/log/relay-bin 文件夾
給兩個文件夾加上 777 權限,然後重啓 MySQL 容器。
4.2 修改從節點配置文件
和主節點配置類似,需要修改 server_id = 12
4.3 添加主節點 mysql 賬戶信息
CREATE USER 'vagrant'@'192.168.56.12' IDENTIFIED BY 'vagrant';
ALTER USER 'vagrant'@'192.168.56.12' IDENTIFIED WITH mysql_native_password BY 'vagrant';
GRANT REPLICATION SLAVE ON *.* TO 'vagrant'@'192.168.56.12';
FLUSH PRIVILEGES;
4.4 鎖主庫的表
FLUSH TABLES WITH READ LOCK;
4.5 查看二進制日誌文件的位置
記住 File 和 Position,後面會用到。這裏 File = mysql-bin.000008,Position = 1020。
4.6 備份數據庫,導出爲腳本文件
cd /var/lib/mysql
mkdir backup
mysqldump -uroot -P3306 --all-databases --triggers --routines --events > /var/lib/mysql/backup/all_databases.sql
查看掛載目錄下是否有生成 all_databases.sql 文件,如下圖所示:
4.7 解除鎖定表
UNLOCK TABLES
4.8 從節點還原數據庫
mysql -uroot -p -hlocalhost -P3306 < /var/lib/mysql/backup/all_databases.sql
4.9 設置同步信息
在 MySQL 命令行窗口中執行以下命令設置同步信息。這裏就是配置主數據庫的 IP 地址、Port、用戶名、密碼,二進制文件名,偏移量。
CHANGE MASTER TO MASTER_HOST='192.168.56.11',
MASTER_PORT=3306,
MASTER_USER='vagrant',
MASTER_PASSWORD='vagrant',
MASTER_LOG_FILE='mysql-bin.000008',
MASTER_LOG_POS=1020;
4.10 啓動從數據庫的複製線程
在 MySQL 命令行窗口中執行以下命令啓動從數據庫的複製線程。
START salve;
4.11 查看從數據庫的同步狀態
SHOW slave status \G
如果 Slave_IO_Running 和 Slave_SQL_Running 顯示 Yes,就表示啓動同步成功。如下圖所示:
在主庫上執行以下命令顯示當前連接過來的從庫線程。
SHOW PROCESSLIST
如下所示,Slave has read all relay log; wating for more updates,說明從庫已經同步完了。
4.12 驗證同步功能
下面驗證下主從節點之間是否能正常同步數據。
主節點創建 testdb 數據庫和 member 表。
刷新下從節點,發現從節點自動創建了 member 表。如下圖所示。
然後在主節點插入一條數據,刷新從節點後,發現從節點也自動創建了一條數據。
五、配置主主架構
5.1 步驟
配置主主架構就是在主從架構中交換下配置信息。步驟如下:
-
在節點 node2 上創建複製賬戶。
-
查看二進制日誌文件和位置信息。
-
在節點 node1 上設置主從複製的信息,包括 ip,port,用戶名,密碼,二進制日誌文件和位置信息。
-
node1 開啓主從複製,查看主從複製狀態
5.2 node2 節點上的操作
5.2.1 停止同步
STOP slave
5.2.2 添加主節點 mysql 賬戶信息
CREATE USER 'vagrant'@'192.168.56.11' IDENTIFIED BY 'vagrant';
ALTER USER 'vagrant'@'192.168.56.11' IDENTIFIED WITH mysql_native_password BY 'vagrant';
GRANT REPLICATION SLAVE ON *.* TO 'vagrant'@'192.168.56.11';
FLUSH PRIVILEGES;
5.2.3 查看二進制日誌文件和位置信息
SHOW MASTER STATUS
5.2.4 開啓主從複製
start slave
5.2.5 查看同步狀態
5.3 node 1 節點上的操作
5.3.1 設置同步信息
CHANGE MASTER TO MASTER_HOST='192.168.56.12',
MASTER_PORT=3306,
MASTER_USER='vagrant',
MASTER_PASSWORD='vagrant',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=2453;
5.3.2 啓動從數據庫的複製線程
START salve
5.3.3 查看從數據庫的同步狀態
SHOW slave status \G
5.4 測試主主同步
node2 的 member 表增加一條數據 (2,zzz),node1 上同步成功
node 1 的 member 表增加一條數據(3,aaa),node2 上同步成功
六、搭建 keepalived 環境
6.1 Keepalived 的應用場景
Keepalived 軟件在主主架構中,可以配置成兩種應用場景:
-
① 當這臺服務器上的 keepalived 發現 MySQL 服務崩了後,立刻停掉這臺服務器上 keepalived 自己,這樣流量就會自動切到另外一臺 keepalived 服務器。
-
② 當這臺服務器上的 keepalived 發現 MySQL 服務崩了後,立刻嘗試重啓 MySQL 服務,如果重啓失敗,則停掉 keepalived 自己。和第一種方案的區別是會嘗試重啓 MySQL 服務。
這裏我配置成第二種功能場景,保障 MySQL 服務的高可用。另外可以配置 MySQL 服務異常時,發送郵件給運維或開發人員,由他們檢查服務器的狀態。
6.2 使用 Keepalived 的原理
Keepalived 提供了一個虛擬 IP (簡稱 VIP),對外提供訪問。當客戶端連接這個虛擬 IP 後,只會訪問其中一個 MySQL。MySQL 節點故障後,keepalived 執行腳本進行重啓,如果重啓失敗,腳本自動停掉 keepalived,備用節點自動切換爲主節點。
keepalived 檢測和重啓的流程圖如下:
6.3 安裝 keepalived 軟件
安裝依賴、獲取 keepalived 安裝包、解壓安裝包、刪除安裝包。
# 安裝依賴
sudo apt-get install -y libssl-dev
sudo apt-get install -y openssl
sudo apt-get install -y libpopt-dev
sudo apt-get install -y libnl-dev
sudo apt-get install -y libnl-3-dev
sudo apt-get install -y libnl-genl-3.dev
sudo apt-get install daemon
sudo apt-get install libc-dev
sudo apt-get install libnfnetlink-dev
sudo apt-get install gcc
# 獲取 keepalived 安裝包
cd /usr/local
sudo su
sudo wget https://www.keepalived.org/software/keepalived-2.2.2.tar.gz
# 解壓安裝包
sudo tar -zxvf keepalived-2.2.2.tar.gz
# 刪除安裝包
mv keepalived-2.2.2 keepalived
配置 keepalived 軟件
cd keepalived
./configure --prefix=/usr/local/keepalived --disable-dependency-tracking
執行結果如下所示:
編譯 keepalived 軟件
sudo make && make install
執行結果如下所示:
對於 Ubuntu ,需要做一點特別的改動,創建鏈接
mkdir -p /etc/rc.d/init.d
ln -s /lib/lsb/init-functions /etc/rc.d/init.d/functions
拷貝配置文件
sudo mkdir /etc/sysconfig
sudo cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
sudo cp /usr/local/keepalived/keepalived/etc/init.d/keepalived /etc/init.d/
sudo cp /usr/local/keepalived/sbin/keepalived /sbin/
sudo mkdir /etc/keepalived
sudo cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
修改配置文件 /etc/keepalived/keepalived.conf
daemon keepalived ${KEEPALIVED_OPTIONS}
改爲
daemon -- keepalived ${KEEPALIVED_OPTIONS}
6.4 添加虛擬 IP
先用 ifconfig 查看當前的網卡,比如我的服務器上是 enp0s8。
ip addr del 192.168.56.88 dev enp0s8:1
ifconfig enp0s8:1 192.168.56.88 broadcast 192.168.56.255 netmask 255.255.255.0 up
route add -host 192.168.56.88 dev enp0s8:1
將命令寫到 /usr/local/script/vip.sh 文件中。最好將 /usr/local/script/vip.sh 文件添加到服務器的開機啓動項中,將 Keepalived 服務設置爲開機自啓動(未寫)。
6.5 修改配置文件
備份配置文件
sudo mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.backup
修改配置文件
sudo vim /etc/keepalived/keepalived.conf
配置文件的內容如下:
global_defs {
router_id MYSQL_HA #當前節點名
}
vrrp_script restart_mysql {
script "/usr/local/keepalived/restart_mysql.sh" #重啓 mysql 容器
interval 2
weight 2
}
vrrp_instance VI_1 {
state BACKUP #兩臺配置節點均爲BACKUP
interface enp0s8 #綁定虛擬IP的網絡接口
virtual_router_id 51 #VRRP組名,兩個節點的設置必須一樣,以指明各個節點屬於同一VRRP組
priority 101 #節點的優先級,另一臺優先級改低一點
advert_int 1 #組播信息發送間隔,兩個節點設置必須一樣
nopreempt #不搶佔,只在優先級高的機器上設置即可,優先級低的機器不設置
authentication { #設置驗證信息,兩個節點必須一致
auth_type PASS
auth_pass 123456
}
track_script {
restart_mysql #檢測 mysql 狀態,如果失敗,則重啓 mysql 容器
}
virtual_ipaddress { #指定虛擬IP,兩個節點設置必須一樣
192.168.56.88
}
}
virtual_server 192.168.56.88 3306 { #linux虛擬服務器(LVS)配置
delay_loop 2 #每個2秒檢查一次real_server狀態
lb_algo wrr #LVS調度算法,rr|wrr|lc|wlc|lblc|sh|dh
lb_kind DR #LVS集羣模式 ,NAT|DR|TUN
persistence_timeout 60 #會話保持時間
protocol TCP #使用的協議是TCP還是UDP
real_server 192.168.56.11 3306 {
weight 3 #權重
TCP_CHECK {
connect_timeout 10 #連接超時時間
nb_get_retry 3 #重連次數
delay_before_retry 3 #重連間隔時間
connect_port 3306 #健康檢查端口
}
}
}
編寫異常處理腳本
sudo vim /usr/local/keepalived/restart_mysql.sh
內容如下,
#!/bin/bash
# 定義變量,重啓 mysql 容器
START_MYSQL="docker restart mysql"
# 定義變量,停止 mysql 容器
STOP_MYSQL="docker stop mysql"
# 定義變量,日誌文件路徑
LOG_FILE="/usr/local/keepalived/logs/mysql-check.log"
# 定義變量,檢查 mysql 服務是否正常的命令
HAPS=`ps -C mysqld --no-header |wc -l`
# 打印當前時間到日誌文件
date "+%Y-%m-%d %H:%M:%S" >> $LOG_FILE
# 打印提示信息到日誌文件
echo "check mysql status" >> $LOG_FILE
# 檢查數據庫狀態,如何返回 0,則重啓 mysql 容器,然後休眠 3s 後,再次檢測 mysql 狀態,如果還是返回 0,則停止 keepalived。
if [ $HAPS -eq 0 ];then
echo $START_MYSQL >> $LOG_FILE
$START_MYSQL >> $LOG_FILE 2>&1
sleep 3
if [ `ps -C mysqld --no-header |wc -l` -eq 0 ];then
echo "start mysql failed, killall keepalived" >> $LOG_FILE
killall keepalived
fi
fi
給腳本分配權限
sudo chmod +x /usr/local/keepalived/restart_mysql.sh
創建 logs 文件夾,給 logs 文件夾分配權限
sudo mkdir /usr/local/keepalived/logs
sudo chmod +x /usr/local/keepalived/logs -r
重新加載配置文件
sudo systemctl daemon-reload
6.6 啓動 keepalived
6.6.1 啓動兩臺服務器上的 keepalived
啓動 node2 節點:
sudo pkill keepalived
sudo systemctl start keepalived
sudo systemctl status keepalived
啓動 node1 節點:
pkilll keepalived
sudo systemctl status keepalived
我們可以通過這個命令查看 keepalived 進程
ps -ef | grep keepalived
查看日誌
sudo cat /var/log/syslog
6.7 測試 keepalived 是否會重啓 mysql
停止 node2 上的 mysql 容器
docker stop 8cc
查看 keepalived 狀態,提示移除了 mysql 服務。
因爲 keepalived 會每 2s 檢查一次 MySQL 的狀態,發現 MySQL 異常後,就會重啓 mysql 容器。所以過幾秒後,重新查看容器狀態,會看到 mysql 容器重新啓動了。
docker ps
查看 keepalived 狀態,執行 restart_mysql 成功
查看執行日誌
問題:每 2s 會打印一次,文件可能會很大。需要執行定期刪除。
6.8 測試 MySQL 節點切換
驗證下當 MySQL 重啓失敗後,keepalived 自動停止後,客戶端連接的 MySQL 是否會自動切到另外一個 MySQL 節點上。
首先用 mysql 客戶端工具 navicat 連接虛擬 ip 地址,賬號和密碼就是 node 1 和 node2 的 mysql 賬號密碼(root/123456)
可以連接上,然後執行以下命令,查看當前虛擬 ip 連接的是哪個數據庫
SHOW VARIABLES LIKE '%hostname%'
可以看到連接的是 node2 的容器的 id,說明 keepalived 已經通過虛擬 ip 連接到 node2 的 mysql 了,是正常工作的,node2 現在是作爲主節點,node1 作爲備用節點。
由於本地環境重新啓動 MySQL 都是成功的,不會停掉 keepalived 服務。出於演示目的,我就直接停掉 keepalived 服務。
pkill keepalived
執行下面這個命令可以查看 keepalived 進程,發現已經沒有了。(控制檯顯示的 grep --color=auto keepalived 表示是查找命令)
ps -ef | grep keepalived
重新查詢客戶端的連接信息,發現已經切換到 92b (node1)機器上的 mysql 了。
SHOW VARIABLES LIKE '%hostname%'
再次查看 node1 上 keepalived 上的狀態,再發送信息給
sudo systemctl status keepalived
七、遇到的坑
7.1 密碼不正確,無法登錄的問題
密碼不正確,設置跳過密碼驗證
apt-get update
apt install vim
修改 mysql 配置文件
vim /etc/mysql/my.cnf
添加一行配置,跳過 mysql 密碼驗證
skip-grant-tables
重啓容器
docker restart 9e6
重新計入 mysql 容器,連接 mysql,不需要密碼就可以連接上 mysql。
mysql
修改登錄密碼
update mysql.user set authentication_string=PASSWORD('123456') where User='root';
重啓容器
7.2 沒有映射 mysql 文件夾
cd /home/hss/mysql/etc
sudo chmod 777 mysql -R
拷貝 mysql 文件夾
7.3 mysql data 文件夾沒有權限
sudo chmod 777 /home/hss/mysql/data -R
7.4 安裝依賴包失敗
sudo apt-get install -y libnl-dev libnl-3-dev libnl-genl-3.dev
Reading package lists... Done
Building dependency tree
Reading state information... Done
Note, selecting 'libnl-genl-3-dev' for regex 'libnl-genl-3.dev'
Package libnl-dev is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source
E: Package 'libnl-dev' has no installation candidate
解決方案:更新包
sudo apt-get -y update
7.5 更新包失敗
Err:15 https://download.docker.com/linux/ubuntu bionic Release Could not wait for server fd - select (11: Resource temporarily unavailable) [IP: 198.18.0.39 443] Reading package lists... Done E: The repository 'https://download.docker.com/linux/ubuntu bionic Release' no longer has a Release file. N: Updating from such a repository can't be done securely, and is therefore disabled by default. N: See apt-secure(8) manpage for repository creation and user configuration details.
解決方案:
修改配置文件
sudo mv /etc/apt/sources.list /etc/apt/sources.list.backup
sudo vim /etc/apt/sources.list
配置內容如下:
deb http://archive.ubuntu.com/ubuntu/ trusty main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse
執行更新
sudo apt-get update
依賴包版本太高
apt-get install libnl-dev
The following packages have unmet dependencies:
libnl-3-dev : Depends: libnl-3-200 (= 3.2.21-1ubuntu4.1) but 3.2.29-0ubuntu3 is to be installed
Conflicts: libnl-dev but 1.1-8ubuntu1 is to be installed
libnl-genl-3-dev : Depends: libnl-genl-3-200 (= 3.2.21-1ubuntu4.1) but 3.2.29-0ubuntu3 is to be installed
E: Unable to correct problems, you have held broken packages.
解決方案:
按照這個報錯信息來進行降級,等號後面就是提示信息裏括號的版本信息。
sudo apt-get install libnl-3-200=3.2.21-1ubuntu4.1
sudo apt-get install libnl-genl-3-200=3.2.21-1ubuntu4.1
啓動 keepalived 報錯
root@node1:/usr/local/keepalived/etc/keepalived# service keepalived restart
Failed to restart keepalived.service: Unit keepalived.service is masked.
root@node1:/usr/local/keepalived/etc/keepalived# systemctl status keepalived.service
● keepalived.service
Loaded: masked (/dev/null; bad)
Active: inactive (dead)
Condition: start condition failed at Wed 2022-05-11 02:40:46 UTC; 1 day 3h ago
解決方案:
systemctl unmask sshd
再次啓動,提示另外一個錯誤。
解決方案,因爲 ubuntu 沒有這個命令 /etc/rc.d/init.d/functions,所以需要添加一個命令鏈接
mkdir -p /etc/rc.d/init.d
ln -s /lib/lsb/init-functions /etc/rc.d/init.d/functions
install gcc 出現問題
切換回 ubuntu 官方源
sudo mv /etc/apt/sources.list /etc/apt/sources.list.backup2
sudo mv /etc/apt/sources.list.backup /etc/apt/sources.list
sudo apt-get update
sudo apt-get install gcc
啓動 keepalived 報錯 keepalived_script
WARNING - default user 'keepalived_script' for script execution does not exist - please create.
解決方案:
配置文件的 global_defs 配置裏面增加 script_user root
global_defs {
script_user rot
}
執行腳本失敗
May 16 03:50:54 node1 Keepalived_vrrp[19855]: WARNING - script '/usr/local/keepalived/restart_mysql.sh' is not executable for uid:gid 0:0 - disabling.
May 16 03:50:54 node1 Keepalived_vrrp[19855]: SECURITY VIOLATION - scripts are being executed but script_security not enabled.
給腳本添加權限。
參考資料:
https://weread.qq.com/web/reader/bd032100721bc56bbd056ff
https://weread.qq.com/web/reader/85a329405d039885a68ca85
https://blog.csdn.net/Sebastien23/article/details/114260591
https://www.cnblogs.com/zhangxingeng/p/10595058.html
https://blog.csdn.net/u012599988/article/details/82152224
https://blog.csdn.net/lupengfei1009/article/details/86514445
https://blog.csdn.net/temotemo/article/details/79445694
https://blog.csdn.net/qq_38491310/article/details/86510666
本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源:https://mp.weixin.qq.com/s/c0PGIXDRf47-eK7Fnar4rw