鏡像倉庫 Harbor 對接 MinIO 對象存儲

Harbor 的部署之前使用的存儲是 NFS，雖然可以使用 rsync+inotify 做數據同步做解決單點問題，但是 NFS 效率 / 性能有限，沒有對象存儲那麼強大，所以一般使用對象存儲居多，這裏選用 MinIO 對象存儲軟件，當然也可以使用 Ceph 或者其它對象存儲。

MinIO on K8S 部署

MinIO 的介紹可以參考我這篇文章：https://www.cnblogs.com/liugp/p/16558869.html

這裏使用 Helm 部署 MinIO ，關於 Helm 的介紹可以參考官方文檔，部署步驟如下：

1）下載安裝 MinIO 包

mkdir -p /opt/k8s/bigdata/minio;cd /opt/k8s/bigdata/minio
# 添加數據源
helm repo add bitnami https://charts.bitnami.com/bitnami
# 下載
helm pull bitnami/minio
# 解壓部署包
tar -xf minio-11.9.2.tgz

2）修改配置

添加文件minio/templates/storage-class.yaml，內容如下：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: minio-local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

添加 pv 配置 minio/templates/pv.yaml

{{- range .Values.persistence.local }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .name }}
spec:
  capacity:
    storage: {{ .size }}
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: minio-local-storage
  local:
    path: {{ .path }}
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - {{ .host }}
 ---
{{- end }}

修改配置minio/values.yaml

service:
  type: NodePort
  nodePorts:
    api: "30900"
    console: "30901"

# ---
# 這裏先部署單節點，後面會詳細講在k8s中部署分佈式minio，這裏的重點是Harbor對接minio
mode: standalone

# ---
statefulset:
  replicaCount: 4

# ---
persistence
  enabled: true
  storageClass: minio-local-storage
  size: 1Gi
  local:
    - name: minio-pv-0
      size: 1Gi
      path: /opt/k8s/bigdata/minio/data
      host: local-168-182-110

【溫馨提示】需要提前在對應的節點上創建對應的目錄。

3）開始部署

cd /opt/k8s/bigdata/minio
helm install minio ./minio \
  --namespace=minio \
  --create-namespace

notes

NAME: minio
LAST DEPLOYED: Sun Aug 28 09:13:06 2022
NAMESPACE: minio
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 11.9.2
APP VERSION: 2022.8.22

** Please be patient while the chart is being deployed **

MinIO® can be accessed via port  on the following DNS name from within your cluster:

   minio.minio.svc.cluster.local

To get your credentials run:

   export ROOT_USER=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-user}" | base64 -d)
   export ROOT_PASSWORD=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-password}" | base64 -d)

To connect to your MinIO® server using a client:

- Run a MinIO® Client pod and append the desired command (e.g. 'admin info'):

   kubectl run --namespace minio minio-client \
     --rm --tty -i --restart='Never' \
     --env MINIO_SERVER_ROOT_USER=$ROOT_USER \
     --env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \
     --env MINIO_SERVER_HOST=minio \
     --image docker.io/bitnami/minio-client:2022.8.11-debian-11-r3 -- admin info minio

To access the MinIO® web UI:

- Get the MinIO® URL:

   export NODE_PORT=$(kubectl get --namespace minio -o jsonpath="{.spec.ports[0].nodePort}" services minio)
   export NODE_IP=$(kubectl get nodes --namespace minio -o jsonpath="{.items[0].status.addresses[0].address}")
   echo "MinIO® web URL: http://$NODE_IP:$NODE_PORT/minio"

查看

kubectl get pods,svc -n minio -owide

webUI 登錄 http://local-168-182-110:30901 賬號密碼：

export ROOT_USER=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-user}" | base64 -d)
echo $ROOT_USER
export ROOT_PASSWORD=$(kubectl get secret --namespace minio minio -o jsonpath="{.data.root-password}" | base64 -d)
echo $ROOT_PASSWORD

4）安裝 mc 測試

cd /opt/k8s/bigdata/minio
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
ln -s /opt/k8s/bigdata/minio/mc /usr/bin/mc
mc --help

添加 MinIO 存儲服務

mc config host add minio http://local-168-182-110:30900 admin Kgb4zZT1cU
mc admin info minio
# 並創建bucket harbor
mc mb minio/harbor
mc ls minio

常用命令參數：

ls       列出文件和文件夾。
mb       創建一個存儲桶或一個文件夾。
cat      顯示文件和對象內容。
pipe     將一個STDIN重定向到一個對象或者文件或者STDOUT。
share    生成用於共享的URL。
cp       拷貝文件和對象。
mirror   給存儲桶和文件夾做鏡像。
find     基於參數查找文件。
diff     對兩個文件夾或者存儲桶比較差異。
rm       刪除文件和對象。
events   管理對象通知。
watch    監聽文件和對象的事件。
policy   管理訪問策略。
session  爲cp命令管理保存的會話。
config   管理mc配置文件。
update   檢查軟件更新。
version  輸出版本信息。

5）卸載

helm uninstall minio -n minio
kubectl delete ns minio --force

Harbor on K8S 部署

1）創建 stl 證書

mkdir /opt/k8s/bigdata/harbor/stl && cd /opt/k8s/bigdata/harbor/stl
# 生成 CA 證書私鑰
openssl genrsa -out ca.key 4096
# 生成 CA 證書
openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor-minio.com" \
 -key ca.key \
 -out ca.crt
# 創建域名證書，生成私鑰
openssl genrsa -out myharbor-minio.com.key 4096
# 生成證書籤名請求 CSR
openssl req -sha512 -new \
    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor-minio.com" \
    -key myharbor-minio.com.key \
    -out myharbor-minio.com.csr
# 生成 x509 v3 擴展
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=myharbor-minio.com
DNS.2=*.myharbor-minio.com
DNS.3=hostname
EOF
#創建 Harbor 訪問證書
openssl x509 -req -sha512 -days 3650 \
    -extfile v3.ext \
    -CA ca.crt -CAkey ca.key -CAcreateserial \
    -in myharbor-minio.com.csr \
    -out myharbor-minio.com.crt

2）創建 secret

kubectl create ns harbor-minio
kubectl create secret tls myharbor-minio.com --key myharbor-minio.com.key --cert myharbor-minio.com.crt -n harbor-minio
kubectl get secret myharbor-minio.com -n harbor-minio

3）下載 harbor 安裝包

cd /opt/k8s/bigdata/harbor
helm repo add harbor https://helm.goharbor.io
helm pull harbor/harbor
tar -xf harbor-1.9.3.tgz

4）配置 minio 存儲

persistence:
  enabled: true
  imageChartStorage:
    disableredirect: true
    type: s3
    filesystem:
      rootdirectory: /storage
      #maxthreads: 100
    s3:
      # region描述的是服務器的物理位置，默認是us-east-1(美國東區1),這也是亞馬遜S3的默認區域
      region: us-west-1
      bucket: harbor
      # 賬號，密碼
      accesskey: admin
      secretkey: Kgb4zZT1cU
      # 這裏minio.minion是<service-name>.<namespace-name>
      regionendpoint: http://minio.minio:9000
      encrypt: false
      secure: false
      v4auth: true
      chunksize: "5242880"
      rootdirectory: /
      redirect:
        disabled: false
    maintenance:
      uploadpurging:
        enabled: false
    delete:
      enabled: true

6）安裝 nfs （harbor 本身服務存儲）

harbor 本身服務的存儲這裏使用 nfs

1、所有節點安裝 nfs

yum -y install  nfs-utils rpcbind

2、在 master 節點創建共享目錄並授權

mkdir /opt/nfsdata
# 授權共享目錄
chmod 666 /opt/nfsdata

3、配置 exports 文件

cat > /etc/exports<<EOF
/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
EOF
# 配置生效
exportfs -r

4、啓動 rpc 和 nfs（客戶端只需要啓動 rpc 服務）（注意順序）

systemctl start rpcbind
systemctl start nfs-server
systemctl enable rpcbind
systemctl enable nfs-server
# 查看
showmount -e
showmount -e 192.168.182.110

5、客戶端

# 安裝
yum -y install  nfs-utils rpcbind
# 啓動rpc服務
systemctl start rpcbind
systemctl enable rpcbind
# 創建掛載目錄
mkdir /mnt/nfsdata
# 掛載
echo "192.168.182.110:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstab
mount -a

6、創建 nfs provisioner 和持久化存儲 SC

# 添加數據源
helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

# 開始安裝
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
  --namespace=nfs-provisioner \
  --create-namespace \
  --set image.repository=willdockerhub/nfs-subdir-external-provisioner \
  --set image.tag=v4.0.2 \
  --set replicaCount=2 \
  --set storageClass.name=nfs-client \
  --set storageClass.defaultClass=true \
  --set nfs.server=192.168.182.110 \
  --set nfs.path=/opt/nfsdata

# 查看
kubectl get pods,deploy,sc -n nfs-provisioner

7）開始安裝

cd /opt/k8s/bigdata/harbor
helm install myharbor-minio --namespace harbor-minio ./harbor \
  --set expose.ingress.hosts.core=myharbor-minio.com \
  --set expose.ingress.hosts.notary=notary.myharbor-minio.com \
  --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client
  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
  --set persistence.enabled=true \
  --set expose.tls.secretName=myharbor-minio.com \
  --set externalURL=https://myharbor-minio.com \
  --set harborAdminPassword=Harbor12345

notes

NAME: myharbor
LAST DEPLOYED: Sun Aug 28 11:27:47 2022
NAMESPACE: harbor-minio
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Please wait for several minutes for Harbor deployment to complete.
Then you should be able to visit the Harbor portal at https://myharbor-minio.com
For more details, please visit https://github.com/goharbor/harbor

查看

kubectl get pods,svc,ingress -n  harbor-minio

配置/etc/hosts，如果有域名解析就可忽略

192.168.182.110 myharbor-minio.com
192.168.182.111 myharbor-minio.com
192.168.182.112 myharbor-minio.com

Harbor web：https://myharbor-minio.com

8）Containerd 配置 Harbor

以前使用 docker-engine 的時候，只需要修改 / etc/docker/daemon.json 就行，但是新版的 k8s 已經使用 containerd 了，所以這裏需要做相關配置，要不然 containerd 會失敗。證書（ca.crt）可以在頁面上下載：創建域名目錄

mkdir /etc/containerd/myharbor-minio.com
cp ca.crt /etc/containerd/myharbor-minio.com/

配置文件：/etc/containerd/config.toml

[plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".tls]
          insecure_skip_verify = true  #跳過認證
          ca_file = "/etc/containerd/myharbor-minio.com/ca.crt"
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".auth]
          username = "admin"
          password = "Harbor12345"

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor-minio.com"]
          endpoint = ["https://myharbor-minio.com"]

重啓 containerd

#重新加載配置
systemctl daemon-reload
#重啓containerd
systemctl restart containerd

9）測試驗證

# tag
# ctr 有命名空間 namespace 來指定類似於工作空間的隔離區域。使用方法 ctr -n default images ls 來查看 default 命名空間的鏡像，不加 -n 參數，默認也是使用default的命名空間。i：images
ctr -n k8s.io i tag docker.io/bitnami/minio:2022.8.22-debian-11-r0 myharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0

# 推送鏡像到harbor
ctr --namespace=k8s.io images push myharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0 --skip-verify --user admin:Harbor12345

# --namespace=k8s.io 指定命名空間，不是必須，根據環境而定
# --skip-verify 跳過認證
# --user 指定harbor用戶名及密碼

查看 minio ：http://local-168-182-110:30901/

成查看 minio 的 harbor bucket 是否存在 docker 目錄。如果存在說明成。

10）卸載

helm uninstall myharbor-minio -n harbor-minio

鏡像倉庫 Harbor 對接 MinIO 對象存儲就到了，有疑問的小夥伴歡迎留言哦，請小夥伴耐心等待哦~

本文轉自大數據老司機，原文：https://www.cnblogs.com/liugp/p/16632616.html，版權歸原作者所有。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/jYF0mvbYgQax4EDymZ68Lg