Prometheus 長期遠程存儲方案 VictoriaMetrics 入門實踐

VictoriaMetrics(簡稱 VM) 是一個支持高可用、經濟高效且可擴展的監控解決方案和時間序列數據庫，可用於 Prometheus 監控數據做長期遠程存儲。

前面章節我們介紹了 Thanos 方案也可以用來解決 Prometheus 的高可用和遠程存儲的問題，那麼爲什麼我們還要使用 VictoriaMetrics 呢？相對於 Thanos，VictoriaMetrics 主要是一個可水平擴容的本地全量持久化存儲方案，VictoriaMetrics 不僅僅是時序數據庫，它的優勢主要體現在以下幾點。

對外支持 Prometheus 相關的 API，可以直接用於 Grafana 作爲 Prometheus 數據源使用
指標數據攝取和查詢具備高性能和良好的可擴展性，性能比 InfluxDB 和 TimescaleDB 高出 20 倍
這處理高基數時間序列時，內存方面也做了優化，比 InfluxDB 少 10x 倍，比 Prometheus、Thanos 或 Cortex 少 7 倍
高性能的數據壓縮方式，與 TimescaleDB 相比，可以將多達 70 倍的數據點存入有限的存儲空間，與 Prometheus、Thanos 或 Cortex 相比，所需的存儲空間減少 7 倍
它針對具有高延遲 IO 和低 IOPS 的存儲進行了優化
提供全局的查詢視圖，多個 Prometheus 實例或任何其他數據源可能會將數據攝取到 VictoriaMetrics
操作簡單
VictoriaMetrics 由一個沒有外部依賴的小型可執行文件組成
所有的配置都是通過明確的命令行標誌和合理的默認值完成的
所有數據都存儲在 - storageDataPath 命令行參數指向的目錄中
可以使用 vmbackup/vmrestore 工具輕鬆快速地從實時快照備份到 S3 或 GCS 對象存儲中
支持從第三方時序數據庫獲取數據源
由於存儲架構，它可以保護存儲在非正常關機（即 OOM、硬件重置或 kill -9）時免受數據損壞
同樣支持指標的 relabel 操作

架構

VM 分爲單節點和集羣兩個方案，根據業務需求選擇即可。單節點版直接運行一個二進制文件既，官方建議採集數據點 (data points) 低於 100w/s，推薦 VM 單節點版，簡單好維護，但不支持告警。集羣版支持數據水平拆分。下圖是 VictoriaMetrics 集羣版官方的架構圖。

主要包含以下幾個組件：

vmstorage：數據存儲以及查詢結果返回，默認端口爲 8482
vminsert：數據錄入，可實現類似分片、副本功能，默認端口 8480
vmselect：數據查詢，彙總和數據去重，默認端口 8481
vmagent：數據指標抓取，支持多種後端存儲，會佔用本地磁盤緩存，默認端口 8429
vmalert：報警相關組件，不如果不需要告警功能可以不使用該組件，默認端口爲 8880

集羣方案把功能拆分爲 vmstorage、 vminsert、vmselect 組件，如果要替換 Prometheus，還需要使用 vmagent、vmalert。從上圖也可以看出 vminsert 以及 vmselect 都是無狀態的，所以擴展很簡單，只有 vmstorage 是有狀態的。

vmagent 的主要目的是用來收集指標數據然後存儲到 VM 以及 Prometheus 兼容的存儲系統中（支持 remote_write 協議即可）。

下圖是 vmagent 的一個簡單架構圖，可以看出該組件也實現了 metrics 的 push 功能，此外還有很多其他特性：

替換 prometheus 的 scraping target
支持基於 prometheus relabeling 的模式添加、移除、修改 labels，可以方便在數據發送到遠端存儲之前進行數據的過濾
支持多種數據協議，influx line 協議，graphite 文本協議，opentsdb 協議，prometheus remote write 協議，json lines 協議，csv 數據
支持收集數據的同時，並複製到多種遠端存儲系統
支持不可靠遠端存儲（通過本地存儲 -remoteWrite.tmpDataPath )，同時支持最大磁盤佔用
相比 prometheus 使用較少的內存、cpu、磁盤 io 以及網絡帶寬

接下來我們就分別來介紹了 VM 的單節點和集羣兩個方案的使用。

單節點

這裏我們採集 node-exporter 爲例進行說明，首先使用 Prometheus 採集數據，然後將 Prometheus 數據遠程寫入 VM 遠程存儲，由於 VM 提供了 vmagent 組件，最後我們使用 VM 來完全替換 Prometheus，可以使架構更簡單、更低的資源佔用。

這裏我們將所有資源運行在 kube-vm 命名空間之下：

☸ ➜ kubectl create ns kube-vm

首先我們這 kube-vm 命名空間下面使用 DaemonSet 控制器運行 node-exporter，對應的資源清單文件如下所示：

# vm-node-exporter.yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-exporter
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: node-exporter
  template:
    metadata:
      labels:
        app: node-exporter
    spec:
      hostPID: true
      hostIPC: true
      hostNetwork: true
      nodeSelector:
        kubernetes.io/os: linux
      containers:
        - name: node-exporter
          image: prom/node-exporter:v1.3.1
          args:
            - --web.listen-address=$(HOSTIP):9111
            - --path.procfs=/host/proc
            - --path.sysfs=/host/sys
            - --path.rootfs=/host/root
            - --no-collector.hwmon # 禁用不需要的一些採集器
            - --no-collector.nfs
            - --no-collector.nfsd
            - --no-collector.nvme
            - --no-collector.dmi
            - --no-collector.arp
            - --collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/containerd/.+|/var/lib/docker/.+|var/lib/kubelet/pods/.+)($|/)
            - --collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$
          ports:
            - containerPort: 9111
          env:
            - name: HOSTIP
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          resources:
            requests:
              cpu: 150m
              memory: 180Mi
            limits:
              cpu: 150m
              memory: 180Mi
          securityContext:
            runAsNonRoot: true
            runAsUser: 65534
          volumeMounts:
            - name: proc
              mountPath: /host/proc
            - name: sys
              mountPath: /host/sys
            - name: root
              mountPath: /host/root
              mountPropagation: HostToContainer
              readOnly: true
      tolerations: # 添加容忍
        - operator: "Exists"
      volumes:
        - name: proc
          hostPath:
            path: /proc
        - name: dev
          hostPath:
            path: /dev
        - name: sys
          hostPath:
            path: /sys
        - name: root
          hostPath:
            path: /

由於前面章節中我們也創建了 node-exporter，爲了防止端口衝突，這裏我們使用參數 --web.listen-address=$(HOSTIP):9111 配置端口爲 9111。直接應用上面的資源清單即可。

☸ ➜ kubectl apply -f vm-node-exporter.yaml
☸ ➜ kubectl get pods -n kube-vm -owide
NAME                  READY   STATUS    RESTARTS   AGE    IP              NODE      NOMINATED NODE   READINESS GATES
node-exporter-c4d76   1/1     Running   0          118s   192.168.0.109   node2     <none>           <none>
node-exporter-hzt8s   1/1     Running   0          118s   192.168.0.111   master1   <none>           <none>
node-exporter-zlxwb   1/1     Running   0          118s   192.168.0.110   node1     <none>           <none>

然後重新部署一套獨立的 Prometheus，爲了簡單我們直接使用 static_configs 靜態配置方式來抓取 node-exporter 的指標，配置清單如下所示：

# vm-prom-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
  namespace: kube-vm
data:
  prometheus.yaml: |
    global:
      scrape_interval: 15s
      scrape_timeout: 15s
    scrape_configs:
    - job_name: "nodes"
      static_configs:
      - targets: ['192.168.0.109:9111', '192.168.0.110:9111', '192.168.0.111:9111']
      relabel_configs: # 通過 relabeling 從 __address__ 中提取 IP 信息，爲了後面驗證 VM 是否兼容 relabeling
      - source_labels: [__address__]
        regex: "(.*):(.*)"
        replacement: "${1}"
        target_label: 'ip'
        action: replace

上面配置中通過 relabel 操作從 __address__ 中將 IP 信息提取出來，後面可以用來驗證 VM 是否兼容 relabel 操作。

同樣要給 Prometheus 數據做持久化，所以也需要創建一個對應的 PVC 資源對象：

# apiVersion: storage.k8s.io/v1
# kind: StorageClass
# metadata:
#   name: local-storage
# provisioner: kubernetes.io/no-provisioner
# volumeBindingMode: WaitForFirstConsumer
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: prometheus-data
spec:
  accessModes:
    - ReadWriteOnce
  capacity:
    storage: 20Gi
  storageClassName: local-storage
  local:
    path: /data/k8s/prometheus
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - node2
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: prometheus-data
  namespace: kube-vm
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local-storage

然後直接創建 Prometheus 即可，將上面的 PVC 和 ConfigMap 掛載到容器中，通過 --config.file 參數指定配置文件文件路徑，指定 TSDB 數據路徑等，資源清單文件如下所示：

# vm-prom-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: prometheus-data
        - name: config-volume
          configMap:
            name: prometheus-config
      containers:
        - image: prom/prometheus:v2.35.0
          name: prometheus
          args:
            - "--config.file=/etc/prometheus/prometheus.yaml"
            - "--storage.tsdb.path=/prometheus" # 指定tsdb數據路徑
            - "--storage.tsdb.retention.time=2d"
            - "--web.enable-lifecycle" # 支持熱更新，直接執行localhost:9090/-/reload立即生效
          ports:
            - containerPort: 9090
              name: http
          securityContext:
            runAsUser: 0
          volumeMounts:
            - mountPath: "/etc/prometheus"
              name: config-volume
            - mountPath: "/prometheus"
              name: data
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus
  namespace: kube-vm
spec:
  selector:
    app: prometheus
  type: NodePort
  ports:
    - name: web
      port: 9090
      targetPort: http

直接應用上面的資源清單即可。

☸ ➜ kubectl apply -f vm-prom-config.yaml
☸ ➜ kubectl apply -f vm-prom-pvc.yaml
☸ ➜ kubectl apply -f vm-prom-deploy.yaml
☸ ➜ kubectl get pods -n kube-vm -owide
NAME                      READY   STATUS    RESTARTS   AGE     IP              NODE      NOMINATED NODE   READINESS GATES
node-exporter-c4d76       1/1     Running   0          27m     192.168.0.109   node2     <none>           <none>
node-exporter-hzt8s       1/1     Running   0          27m     192.168.0.111   master1   <none>           <none>
node-exporter-zlxwb       1/1     Running   0          27m     192.168.0.110   node1     <none>           <none>
prometheus-dfc9f6-2w2vf   1/1     Running   0          4m58s   10.244.2.102    node2     <none>           <none>
☸ ➜ kubectl get svc -n kube-vm
NAME         TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
prometheus   NodePort   10.103.38.114   <none>        9090:31890/TCP   4m10s

部署完成後可以通過 http://<node-ip>:31890 訪問 Prometheus，正常可以看到採集的 3 個 node 節點的指標任務。

同樣的方式重新部署 Grafana，資源清單如下所示：

# vm-grafana.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: grafana
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: grafana
  template:
    metadata:
      labels:
        app: grafana
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: grafana-data
      containers:
        - name: grafana
          image: grafana/grafana:main
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3000
              name: grafana
          securityContext:
            runAsUser: 0
          env:
            - name: GF_SECURITY_ADMIN_USER
              value: admin
            - name: GF_SECURITY_ADMIN_PASSWORD
              value: admin321
          volumeMounts:
            - mountPath: /var/lib/grafana
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
  namespace: kube-vm
spec:
  type: NodePort
  ports:
    - port: 3000
  selector:
    app: grafana
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: grafana-data
spec:
  accessModes:
    - ReadWriteOnce
  capacity:
    storage: 1Gi
  storageClassName: local-storage
  local:
    path: /data/k8s/grafana
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - node2
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: grafana-data
  namespace: kube-vm
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: local-storage

☸ ➜ kubectl apply -f vm-grafana.yaml
☸ ➜ kubectl get svc -n kube-vm |grep grafana
grafana      NodePort   10.97.111.153   <none>        3000:31800/TCP   62s

同樣通過 http://<node-ip>:31800 就可以訪問 Grafana 了，進入 Grafana 配置 Prometheus 數據源。

然後導入 16098 這個 Dashboard，導入後效果如下圖所示。

到這裏就完成了使用 Prometheus 收集節點監控指標，接下來我們來使用 VM 來改造現有方案。

遠程存儲 VictoriaMetrics

首先需要一個單節點模式的 VM，運行 VM 很簡單，可以直接下載對應的二進制文件啓動，也可以使用 docker 鏡像一鍵啓動，我們這裏同樣部署到 Kubernetes 集羣中。資源清單文件如下所示。

# vm-grafana.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: victoria-metrics
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: victoria-metrics
  template:
    metadata:
      labels:
        app: victoria-metrics
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: victoria-metrics-data
      containers:
        - name: vm
          image: victoriametrics/victoria-metrics:v1.76.1
          imagePullPolicy: IfNotPresent
          args:
            - -storageDataPath=/var/lib/victoria-metrics-data
            - -retentionPeriod=1w
          ports:
            - containerPort: 8428
              name: http
          volumeMounts:
            - mountPath: /var/lib/victoria-metrics-data
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: victoria-metrics
  namespace: kube-vm
spec:
  type: NodePort
  ports:
    - port: 8428
  selector:
    app: victoria-metrics
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: victoria-metrics-data
spec:
  accessModes:
    - ReadWriteOnce
  capacity:
    storage: 20Gi
  storageClassName: local-storage
  local:
    path: /data/k8s/vm
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - node2
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: victoria-metrics-data
  namespace: kube-vm
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local-storage

這裏我們使用 -storageDataPath 參數指定了數據存儲目錄，然後同樣將該目錄進行了持久化，-retentionPeriod 參數可以用來配置數據的保持週期。直接應用上面的資源清單即可。

☸ ➜ kubectl apply -f vm-single-node-deploy.yaml
☸ ➜ kubectl get svc victoria-metrics -n kube-vm
NAME               TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
victoria-metrics   NodePort   10.106.216.248   <none>        8428:31953/TCP   75m
☸ ➜ kubectl get pods -n kube-vm -l app=victoria-metrics
NAME                                READY   STATUS    RESTARTS   AGE
victoria-metrics-57d47f4587-htb88   1/1     Running   0          3m12s
☸ ➜ kubectl logs -f victoria-metrics-57d47f4587-htb88 -n kube-vm
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:12   build version: victoria-metrics-20220412-134346-tags-v1.76.1-0-gf8de318bf
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:13   command line flags
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:20   flag "retentionPeriod"="1w"
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:20   flag "storageDataPath"="/var/lib/victoria-metrics-data"
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/app/victoria-metrics/main.go:52 starting VictoriaMetrics at ":8428"...
2022-04-22T08:59:14.432Z        info    VictoriaMetrics/app/vmstorage/main.go:97        opening storage at "/var/lib/victoria-metrics-data" with -retentionPeriod=1w
......
2022-04-22T08:59:14.449Z        info    VictoriaMetrics/app/victoria-metrics/main.go:61 started VictoriaMetrics in 0.017 seconds
2022-04-22T08:59:14.449Z        info    VictoriaMetrics/lib/httpserver/httpserver.go:91 starting http server at http://127.0.0.1:8428/

到這裏我們單節點的 VictoriaMetrics 就部署成功了。接下來我們只需要在 Prometheus 中配置遠程寫入我們的 VM 即可，更改 Prometheus 配置：

# vm-prom-config2.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
  namespace: kube-vm
data:
  prometheus.yaml: |
    global:
      scrape_interval: 15s
      scrape_timeout: 15s
    remote_write:    # 遠程寫入到遠程 VM 存儲
    - url: http://victoria-metrics:8428/api/v1/write
    scrape_configs:
    - job_name: "nodes"
      static_configs:
      - targets: ['192.168.0.109:9111', '192.168.0.110:9111', '192.168.0.111:9111']
      relabel_configs: # 通過 relabeling 從 __address__ 中提取 IP 信息，爲了後面驗證 VM 是否兼容 relabeling
      - source_labels: [__address__]
        regex: "(.*):(.*)"
        replacement: "${1}"
        target_label: 'ip'
        action: replace

重新更新 Prometheus 的配置資源對象：

☸ ➜ kubectl apply -f vm-prom-config2.yaml
# 更新後執行 reload 操作重新加載 prometheus 配置
☸ ➜ curl -X POST "http://192.168.0.111:31890/-/reload"

配置生效後 Prometheus 就會開始將數據遠程寫入 VM 中，我們可以查看 VM 的持久化數據目錄是否有數據產生來驗證：

☸ ➜ ll /data/k8s/vm/data/
total 0
drwxr-xr-x 4 root root 38 Apr 22 17:15 big
-rw-r--r-- 1 root root  0 Apr 22 16:59 flock.lock
drwxr-xr-x 4 root root 38 Apr 22 17:15 small

現在我們去直接將 Grafana 中的數據源地址修改成 VM 的地址：

修改完成後重新訪問 node-exporter 的 dashboard，正常可以顯示，證明 VM 是兼容的。

替換 Prometheus

上面我們將 Prometheus 數據遠程寫入到了 VM，但是 Prometheus 開啓 remote write 功能後會增加其本身的資源佔用，理論上其實我們也可以完全用 VM 來替換掉 Prometheus，這樣就不需要遠程寫入了，而且本身 VM 就比 Prometheus 佔用更少的資源。

現在我們先停掉 Prometheus 的服務：

☸ ➜ kubectl scale deploy prometheus --replicas=0 -n kube-vm

然後將 Prometheus 的配置文件掛載到 VM 容器中，使用參數 -promscrape.config 來指定 Prometheus 的配置文件路徑，如下所示：

# vm-single-node-deploy2.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: victoria-metrics
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: victoria-metrics
  template:
    metadata:
      labels:
        app: victoria-metrics
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: victoria-metrics-data
        - name: prometheus-config
          configMap:
            name: prometheus-config
      containers:
        - name: vm
          image: victoriametrics/victoria-metrics:v1.76.1
          imagePullPolicy: IfNotPresent
          args:
            - -storageDataPath=/var/lib/victoria-metrics-data
            - -retentionPeriod=1w
            - -promscrape.config=/etc/prometheus/prometheus.yaml
          ports:
            - containerPort: 8428
              name: http
          volumeMounts:
            - mountPath: /var/lib/victoria-metrics-data
              name: storage
            - mountPath: /etc/prometheus
              name: prometheus-config

記得先將 Prometheus 配置文件中的 remote_write 模塊去掉，然後重新更新 VM 即可：

☸ ➜ kubectl apply -f vm-prom-config.yaml
☸ ➜ kubectl apply -f vm-single-node-deploy2.yaml
☸ ➜ kubectl get pods -n kube-vm -l app=victoria-metrics
NAME                                READY   STATUS    RESTARTS       AGE
victoria-metrics-8466844968-ncfnp   1/1     Running   2 (3m3s ago)   3m45s
☸ ➜ kubectl logs -f victoria-metrics-8466844968-ncfnp -n kube-vm
......
2022-04-22T10:01:59.837Z        info    VictoriaMetrics/app/victoria-metrics/main.go:61 started VictoriaMetrics in 0.022 seconds
2022-04-22T10:01:59.837Z        info    VictoriaMetrics/lib/httpserver/httpserver.go:91 starting http server at http://127.0.0.1:8428/
2022-04-22T10:01:59.837Z        info    VictoriaMetrics/lib/httpserver/httpserver.go:92 pprof handlers are exposed at http://127.0.0.1:8428/debug/pprof/
2022-04-22T10:01:59.838Z        info    VictoriaMetrics/lib/promscrape/scraper.go:103   reading Prometheus configs from "/etc/prometheus/prometheus.yaml"
2022-04-22T10:01:59.838Z        info    VictoriaMetrics/lib/promscrape/config.go:96     starting service discovery routines...
2022-04-22T10:01:59.839Z        info    VictoriaMetrics/lib/promscrape/config.go:102    started service discovery routines in 0.000 seconds
2022-04-22T10:01:59.840Z        info    VictoriaMetrics/lib/promscrape/scraper.go:395   static_configs: added targets: 3, removed targets: 0; total targets: 3

從 VM 日誌中可以看出成功讀取了 Prometheus 的配置，並抓取了 3 個指標（node-exporter）。現在我們再去 Grafana 查看 node-exporter 的 Dashboard 是否可以正常顯示。先保證數據源是 VM 的地址。

這樣我們就使用 VM 替換掉了 Prometheus，我們也可以這 Grafana 的 Explore 頁面去探索採集到的指標。

UI 界面

VM 單節點版本本身自帶了一個 Web UI 界面 - vmui，不過目前功能比較簡單，可以直接通過 VM 的 NodePort 端口進行訪問。

☸ ➜ kubectl get svc victoria-metrics -n kube-vm
NAME               TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
victoria-metrics   NodePort   10.106.216.248   <none>        8428:31953/TCP   75m

我們這裏可以通過 http://<node-ip>:31953 訪問到 vmui：

可以通過 /vmui 這個 endpoint 訪問 UI 界面：

如果你想查看採集到的指標 targets，那麼可以通過 /targets 這個 endpoint 來獲取：

這些功能基本上可以滿足我們的一些需求，但是還是太過簡單，如果你習慣了 Prometheus 的 UI 界面，那麼我們可以使用 promxy 來代替 vmui，而且 promxy 還可以進行多個 VM 單節點的數據聚合，以及 targets 查看等，對應的資源清單文件如下所示：

# vm-promxy.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: promxy-config
  namespace: kube-vm
data:
  config.yaml: |
    promxy:
      server_groups:
      - static_configs:
        - targets: [victoria-metrics:8428]  # 指定vm地址，有多個則往後追加即可
        path_prefix: /prometheus  # 配置前綴
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: promxy
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: promxy
  template:
    metadata:
      labels:
        app: promxy
    spec:
      containers:
        - args:
            - "--config=/etc/promxy/config.yaml"
            - "--web.enable-lifecycle"
            - "--log-level=trace"
          env:
            - name: ROLE
              value: "1"
          command:
            - "/bin/promxy"
          image: quay.io/jacksontj/promxy
          imagePullPolicy: Always
          name: promxy
          ports:
            - containerPort: 8082
              name: web
          volumeMounts:
            - mountPath: "/etc/promxy/"
              name: promxy-config
              readOnly: true
        - args: # container to reload configs on configmap change
            - "--volume-dir=/etc/promxy"
            - "--webhook-url=http://localhost:8082/-/reload"
          image: jimmidyson/configmap-reload:v0.1
          name: promxy-server-configmap-reload
          volumeMounts:
            - mountPath: "/etc/promxy/"
              name: promxy-config
              readOnly: true
      volumes:
        - configMap:
            name: promxy-config
          name: promxy-config
---
apiVersion: v1
kind: Service
metadata:
  name: promxy
  namespace: kube-vm
spec:
  type: NodePort
  ports:
    - port: 8082
  selector:
    app: promxy

直接應用上面的資源對象即可：

☸ ➜ kubectl apply -f vm-promxy.yaml
☸ ➜ kubectl get pods -n kube-vm -l app=promxy
NAME                      READY   STATUS    RESTARTS   AGE
promxy-5f7dfdbc64-l4kjq   2/2     Running   0          6m45s
☸ ➜ kubectl get svc promxy -n kube-vm
NAME               TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
promxy             NodePort   10.110.19.254    <none>        8082:30618/TCP   6m12s

訪問 Promxy 的頁面效果和 Prometheus 自帶的 Web UI 基本一致的。

這裏面我們簡單介紹了單機版的 victoriametrics 的基本使用。關於集羣版的使用請關注後續文章。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/C3fzohygl5_tey70Qnz3og

架構

單節點

遠程存儲 VictoriaMetrics

替換 Prometheus

UI 界面

猜你喜歡