一、閒聊

 現在基本上是隔幾天寫一篇文章，還是不夠勤奮，努力把自己打造成勤奮的人，把工作上面所用到的技術點分享給大家。爲了研究 k8s 自動化部署 aspnet core 項目，足足花費了我一個禮拜的時間，過程是痛苦的，但結果是美好的。

如果以下內容有不足的地方，請指出，我會第一時間更正。謝謝大家。

二、部署流程介紹

  1、先上一下手繪導圖，大致的流程圖如下：（不喜勿噴呀）

大致的部署流程是這樣的：開發人員把做好的 asp.net core 項目代碼通過 git 推送到 gitlab，然後 Jenkins 通過 gitlab webhook （前提是配置好），自動從拉取 gitlab 上面拉取代碼下來，然後進行 build，編譯、生成鏡像、然後把鏡像推送到 Harbor 倉庫；然後在部署的時候通過 k8s 拉取 Harbor 上面的代碼進行創建容器和服務，最終發佈完成，然後可以用外網訪問。（ps: 看着我講這麼簡單，但心裏有許多小鹿在心裏亂撞，沒關係，下面將會好好的分享給大家）

當然啦，上面只是粗略的，請看下圖才更加形象。

 2、先介紹一下我的服務器 IP 和在各個服務器上面所安裝的內容

ps: 由於我的電腦配置有限，運行太多的虛擬機會導致內存空間不夠用，因此就弄了三臺，已經是極限了。

如果大家對於 k8s 怎麼部署，請看我之前的文章有介紹。前提是要安裝好 docker 環境、gitlab 等

三、部署 Harbor 倉庫

 第一步：下載 harbor 二進制文件：https://github.com/goharbor/harbor/releases

第二步：安裝 docker compose

命令：

sudo curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose

然後把下載的 docker-compose 設置可執行權限

命令：chmod +x /usr/local/bin/docker-compose

第三步：此處應該設置自簽證書的，即訪問的時候是採用 HTTPS 進行訪問的。此處略去，不影響我們接下去的部署。（後期會出一篇關於自簽證書的文章，僅供參考）

第四步：將下載好的 Harbor 二進制包上傳到服務器上面，然後解壓出來

解壓的命令爲：tar xzvf 包名

第五步：進入解壓出來的文件夾 harbor 中，有如下文件。

配置文件，vi harbor.cfg

把其中的 hostname 修改爲：master1 的 IP 地址。

然後 修改 harbor 的登錄密碼：爲了方便起見，我修改爲 123456, 大家可自行修改

 第六步：在當前文件夾中開啓 harbor

執行命令：

./prepare

./install.sh  (運行此處的時候需要一定的時間，請等待吧)

 第七步：啓動成功，查看一下（完美的運行）

docker-compose ps

 用瀏覽器查看一下（出現以下內容，代表成功，完美）

進入到裏面後，我先在用戶管理中創建了一個用戶  louie 。大家自行創建，爲了後期需要把一些依賴鏡像先推送到 harbor 倉庫中。然後在項目中創建項目，如下：

所創建的項目，並且，我在每個項目中都加入了我剛纔所創建的用戶，方便後期登錄並推送鏡像

此處介紹一下我的項目，coresdk 主要用來存放  asp.net core 所需要的 sdk；ops 主要是用來存放的 jenkins 鏡像和 jenkins-slave 鏡像；projectdemo 主要存放我的 asp.netcore 項目的鏡像，供 k8s 拉取。

至此，harbor 部署完成。

四、jenkins-slave 鏡像搭建

操作服務器：node1

說明: jenkins-slave 主要是爲了分擔 jenkins-master 的壓力。如下圖所示：（在多任務運行的時候可以採用）

 1、爲了創建 jenkins-slave 鏡像，我這邊準備了三個文件

Dockerfile：構建 jenkins-slave 鏡像

jenkins-slave：shell 腳本（需要加入可執行權限 chmod +x jenkins-slave），在鏡像構建時需要用到。

slave.jar: 啓動腳本

Dockerfile 文件內容如下（如需源文件可加入 QQ 羣獲取），如下圖所示：可以看到 jenkins-slave 需要依賴 java 的一些環境。

2、配置 java 的基礎環境。

配置 JDK 和 maven，把下載的二進制包放到如下目錄（由於文件太大，可移步到羣中下載）

apache-maven-3.5.3-bin.tar.gz 解壓到的地址爲 /usr/local/maven 裏面。
jdk-8u45-linux-x64.tar.gz 解壓到的地址爲 /usr/local/jdk 裏面。

3、準備好環境後，剛纔構建鏡像，如下：

執行命令：

構建完成後把鏡像推送到 Harbor 倉庫中。

在推送的過程中需要先登錄到 harbor 倉庫

執行命令：docker login 192.168.161.151

執行後發現及時輸入賬號和密碼也無法登錄，由於在 node1 中沒有添加 harbor 倉庫的 IP 地址導致無法登錄，因此

執行命令：vi /etc/docker/daemon.json  

把下圖的紅色圈的部分加入，然後重啓一下 docker。

執行 docker info ，看一下 IP 地址是否生效，發現已加入。好了，在試一下登錄，發現登錄成功，然後開始推送把。

當然 harbor 上也給出了 鏡像推送的語句

開始推送：docker push 192.168.161.151/ops/jenkins-slave

至此，jenkins-slave 鏡像已推送完畢。

五、部署 jenkins

部署 jenkins 時，我把 jenkins 的數據卷採用 pv/pvc、nfs 進行掛載。

1、需要準備文件有

jenkins-service-account.yml :jenkins 的服務賬號創建

jenkins.yml : 創建容器和 service 服務得。進行可以訪問。

Dockerfile ：主要用來生成 jenkins 鏡像的。

registry-pull-secret.yaml：主要是用來部署時可以直接登錄 harbor 倉庫來拉取鏡像（在部署 jenkins 需要用到）

2、開始吧。

切換到 node1 服務器，把之前準備好的 Dockerfile 文件構建一下

命令：docker build -t 192.168.161.151/ops/jenkins:lts-alpine .

然後推送到 Harbor 倉庫中，命令：docker push 192.168.161.150/ops/jenkins:lts-alpine

3、切換到 master 服務器上

構建 jenkins-service-account.yml 和 jenkins.yml  文件以及 registry-pull-secret.yaml

特別注意 registry-pull-secret.yaml 中的 namespace, 需要在 k8s 中創建，以及 data 裏面的 64 位認證信息（需要登錄 harbor 倉庫後生成的信息黏貼在這裏）

生成方式爲：可以在有登錄的 harbor 的 node 服務器上面執行以下命令生成認證信息
命令： cat ~/.docker/config.json |base64 -w0 即可生成信息

執行上上面的文件後，命令：kubectl create -f  文件名。

生成如下，發現 jenkins 已在運行，而且是運行在 153 節點上。那麼開始用瀏覽器訪問把

查看一下 service ，jenkins 的外部訪問端口爲誒 30001.

4、輸入訪問地址：http://192.168.161.153:30001/

在第一次登陸的時候需要密碼進行解鎖 jenkins，按照提示獲取密碼即可。

然後選擇 “” 插件來安裝 “”，如果需要特別的插件直接選擇，否則直接安裝即可。

5、要想把 jenkins 關聯到 k8s 中需要安裝幾個插件

打開  “系統管理” =》“管理插件” 然後安裝

Kubernetes Continuous Deploy、Kubernetes、Gitlab Hook 、GitLab、Build Authorization Token

 6、安裝完畢後就開始構建項目啦。

我新建一個項目，然後選擇 流水線、然後點擊確定。

 7、創建完任務後先不進行配置，我們先要設置一下 jenkins 掛鉤 k8s 的環境

點擊 “系統管理”=》“系統設置”。一直往下滑動，點擊 “新增一個雲”，選擇 k8s，如果這邊沒有出現 k8s，則代表你的插件沒有安裝成功，請重新安裝吧。

 然後配置一下里面的內容，只要配置這兩個地方就可以了。針對 URL，我這邊是採用 kube-dns 來做服務發現，不需要實際的 ip 地址進行輸入。至此搞定。不過還得配置一下 “憑證”，即 SSH 密鑰，方便可以從 gitlab 那邊拉取代碼，有玩過 gitlab 應該知道，拉取代碼分爲 git 和 http。

此處如果發現測試不通過，請現在 k8s 中安裝一下 kube-dns.yaml，文件在羣中 k8s 集羣部署文件下面：直至在 k8s 中執行即可。

命令：kubectl create -f kube-dns.yaml

 8、添加憑證

在這裏我添加了兩個憑證，一個是 ssh，和 k8s 的憑證。這個可自行添加一下即可。這裏要注意一下：憑證生成後，進入憑證裏面會有一個自動生成的 ID，此 ID 需要在 asp.net core 項目中的 Jenkinsfile 裏面配置。

root 中的密鑰時私鑰，並且在服務器上需要把公鑰配置到 gitlab 上。

 這下面是 gitlab 上面配置 ssh， ssh 的私鑰和公鑰，直接在 node 服務器上生成一下即可 ssh-keygen,  然後把裏面的內容複製出來即可。

六、jenkins+gitlab 掛鉤

上面已經創建了一個任務。然後我們開始配置這個任務裏面的內容並且與 gitlab 掛鉤把

1、進入 testproject 裏面配置。按照以下圖配置完後即可。然後點擊保存。這樣就完成了任務配置，接下來就是要配置一下 gitlab 啦

 2、配置 gitlab

在 gitlab 中我創建了一個項目 Testproject

然後進入到項目中，點擊 “Settings”=》Integrations 

把上面 URL 和 Token 複製到這邊，然後點擊保存即可。接下來就是測試一下這個配置是否可以用

將上面創建好的 webhook 進行測試，gitlab 會模擬代碼推送事件，返回 200 就代表成功啦。

 成功啦。

七、終於到了我們 asp.net core 項目啦

 github 地址：上面有完整的代碼 https://github.com/LouieGuo/testproject, 記得 fork me 喲。感謝感謝。

 在這裏我創建了一個 asp.net core webapi 的項目，不做任何修改。然後在項目中加入了這幾個部署文件。

deploy 文件裏面包含 Jenkinsfile 和 deploy.yml(用來部署項目鏡像的)

注：Jenkinsfile 裏面這兩個地方需要配置爲你們在 Jenkins 裏面創建的兩個授權的 ID，ID 內容可以進入到憑證裏面看。切記，一定要改。

Dockerfile ：中是用來構建項目鏡像 的

dockerfile 內容，當然裏面的 sdk 我已經打包好了，已經上傳到我的 harbor 倉庫中。

 到目前爲止 我們就可以開始上傳代碼到 gitlab 上，然後自動觸發構建啦。

上傳後再這邊會出現構建進行，我們可以查看 控制檯輸出

輸出、以及構建成功

在 master 上面查看

發現已經運行我的項目啦，用瀏覽器訪問以下。

 查看一下外部發布的端口

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/oc4OjgGTKZ2V03SJDiZWDg