9 款日誌管理工具選型！

大家好，我是 Tom 哥。

對於日誌管理當前網絡上提供了大量的日誌工具，今天就給大家分析總結一下這些常用工具的特點，希望對你們在選型時有所幫助，如果有用記得一鍵三連。

1、Filebeat

Filebeat 是用於轉發和集中日誌數據的輕量級傳送程序。作爲服務器上的代理安裝，Filebeat 監視您指定的日誌文件或位置，收集日誌事件，並將它們轉發到 Elasticsearch 或 Logstash 進行索引。

Filebeat 的工作方式如下：啓動 Filebeat 時，它將啓動一個或多個輸入，這些輸入將在爲日誌數據指定的位置中查找。對於 Filebeat 所找到的每個日誌，Filebeat 都會啓動收集器。每個收集器都讀取一個日誌以獲取新內容，並將新日誌數據發送到 libbeat，libbeat 會彙總事件並將彙總的數據發送到您爲 Filebeat 配置的輸出。

1.1 主要特點

• 輕量級並且易使用

• 模塊可用於常見用例（例如 Apache 訪問日誌）。您可以使用它們來設置 Filebeat、Ingest 和 Kibana 儀表板，只需幾個命令

1.2 價格

免費開源

1.3 優點

• 資源使用率低

• 良好的性能

1.4 缺點

有限的解析和豐富功能

2、Graylog

Graylog 是一個開源的日誌聚合、分析、審計、展現和預警工具。功能上和 ELK 類似，但又比 ELK 要簡單，依靠着更加簡潔，高效，部署使用簡單的優勢很快受到許多人的青睞。

2.1 主要特點

• 一個包含日誌處理所有要素的軟件包：收集、解析、緩衝、索引、搜索、分析。

• 開源 ELK 堆棧無法提供的其他功能，例如基於角色的訪問控制和警報

2.2 價格

• 免費和開源，不過也有企業版 (根據要求提供價格)

2.3 優點

• 在一個軟件包中滿足大多數集中式日誌管理用例的需求

• 輕鬆擴展存儲 (Elasticsearch) 和獲取通道

2.4 缺點

• 可視化能力是有限的，至少與 ELK 的 Kibana 相比是如此

• 不能使用整個 ELK 生態系統，因爲他們不能直接訪問 Elasticsearch API。相反，Graylog 有自己的 API

3、LogDNA

LogDNA 是日誌管理領域的新成員。LogDNA 可作爲 SaaS 和內部使用，提供所有日誌基礎: 通過 syslog 和 HTTP(S) 以及全文搜索和可視化，提供基於代理和無代理的日誌收集，並提供清晰且具有競爭力的價格。

3.1 主要特點

• 用於在組織外部共享日誌的嵌入式視圖

• 自動解析常用日誌格式

3.2 價格

• 免費：無存儲

• 收費：付費計劃起價爲每月每 GB 1.50 美元，保留 7 天

3.3 優點

• 用於搜索日誌的簡單 UI，類似於 Papertrail

• 易於理解的計劃

3.4 缺點

• 可視化能力有限

• 保留期取決於計劃（從 7 天到 30 天）。用戶數量也是如此（最便宜的計劃只允許 5 個）

4、ELK

4.1 主要特點

ELK 堆棧包含了日誌管理解決方案所需的大多數工具:

• Log shippers：如 Logstash 和 Filebeat

• Elasticsearch 是一個可擴展的搜索引擎

• Kibana 作爲搜索日誌或構建可視化的 UI

它在集中日誌方面非常流行，有很多關於如何在網絡上使用它的教程。有一個龐大的工具生態系統，您可以在基本設置之上使用這些工具，通過警報、基於角色的訪問控制等來增強它。我們將在這篇博文中詳細介紹這些額外的附加功能，我們將在其中討論 Elastic Stack 功能的替代方案。

• Elasticsearch 默認情況下對每個字段進行索引，使搜索速度更快

• 通過 API 和 Kibana 實現實時可視化

• 索引前的數據解析和充實

4.2 價格

免費和開源。一些公司提供託管 ELK 的形式，見上文。 還有 Elastic Cloud，它是雲中 ELK 的一種純粹形式，您主要需要自己管理。

4.3 優點

• 可擴展的搜索引擎作爲日誌存儲

• 成熟的 log shippers

• Kibana 中的 Web UI 和可視化

4.4 缺點

• 在規模上，它可能變得難以維護。這就是 Sematext 提供 ELK 堆棧諮詢、生產支持和培訓的原因

• ELK Stack 的開源版本缺少一些功能，例如基於角色的訪問控制和警報。您可以通過商業 “Elastic Stack 功能” 或其替代品或 Visa Open Distro for Elasticsearch 獲得這些功能。

5、Grafana Loki

Loki 及其生態系統是 ELK 堆棧的替代方案，但它做出了不同的權衡。通過僅索引某些字段（標籤），它可以具有完全不同的架構。也就是說，主要的寫入組件（Ingester）會將大量日誌保存在內存中，從而使最近的查詢速度更快。隨着塊變老，它們被寫入兩個地方：用於標籤的鍵值存儲（例如 Cassandra）和用於塊數據的對象存儲（例如 Amazon S3）。當您添加數據時，它們都不需要後臺維護（例如 Elasticsearch/Solr 需要合併）。
如果您查詢較舊的數據，您通常會按標籤和時間範圍進行過濾。這限制了必須從長期存儲中檢索的塊的數量。

5.1 主要特點

• 同一 UI 中的日誌和指標 (Grafana)

• Loki 標籤可以與 Prometheus 標籤保持一致

5.2 價格

• 免費：免費開源

• 收費：還有 Grafana Cloud，提供 Loki 的 SaaS 服務 (也有內部部署的選項)。價格從 49 美元起，包括 100GB 的日誌存儲(30 天保留) 和 3000 個度量系列

5.3 優點

• 與 ELK 相比，攝取速度更快：索引更少，無需合併

• 小存儲佔用：較小的索引，數據只寫入一次到長期存儲（通常具有內置複製）

• 使用更便宜的存儲（例如 AWS S3）

5.4 缺點

• 與 ELK 相比，較長時間範圍內的查詢和分析速度較慢

• 與 ELK 相比，log shippers 選項更少（例如 Promtail 或 Fluentd）

• 不如 ELK 成熟（例如更難安裝）

6、Datadog

Datadog 是一種 SaaS，最初是作爲監控 (APM) 工具，後來還添加了日誌管理功能。您可以通過 HTTP(S) 或 syslog，通過現有的日誌傳送器（rsyslog、syslog-ng、Logstash 等）或通過 Datadog 自己的代理發送日誌。它的特點是 Logging without Limits™，這是一把雙刃劍：更難預測和管理成本，但您可以獲得即用即付定價（見下文）以及您可以存檔和從存檔中恢復的事實。

6.1 主要特點

• 用於解析和豐富日誌的服務器端處理管道

• 自動檢測常見的日誌模式

• 可以將日誌歸檔到 AWS/Azure/Google Cloud 存儲並在以後重新使用它們

6.2 價格

• 處理起價爲每月每 GB 0.10 美元（例如 1GB 每天 3 美元）

• 處理也適用於從檔案中獲取，儘管這裏的數據是壓縮的

• 100 萬個事件的存儲起價爲 1.59 美元，爲期 3 天（例如，47.7 美元，1GB / 天，每個 1K，存儲 3 天）

6.3 優點

• 容易搜索，良好的自動完成 (基於 facet)

• 與 DataDog 指標和跟蹤的集成

• 負擔得起，特別是對於短期保留和 / 或如果你依靠存檔進行一些搜索

6.4 缺點

現場不可用。一些用戶抱怨成本失控（由於定價靈活）。雖然您可以設置每日處理配額

7、Logstash

Logstash 是一個日誌收集和處理引擎，它帶有各種各樣的插件，使您能夠輕鬆地從各種來源攝取數據，將其轉換並轉發到定義的目的地。它與 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，這就是爲什麼它最常用於將數據傳送到 Elasticsearch。

7.1 主要特點

• 許多內置的輸入、過濾 / 轉換和輸出插件

• 靈活的配置格式: 您可以添加內聯腳本，包括其他配置文件等

7.2 價格

免費開源

7.3 優點

• 容易開始和移動到複雜的配置

• 靈活: Logstash 用於各種日誌記錄用例，甚至用於非日誌記錄數據

• 寫得很好的文檔和大量的操作指南

7.4 缺點

• 與其他日誌 shippers 相比，資源使用率高

• 與替代品相比，性能較差

8、Fluentd

作爲一個很好的 Logstash 替代品，Fluentd 是 DevOps 的最愛，特別是對於 Kubernetes 部署，因爲它具有豐富的插件庫。與 Logstash 一樣，它可以將數據結構化爲 JSON，並涉及日誌數據處理的所有方面：收集、解析、緩衝和輸出跨各種來源和目的地的數據。

8.1 主要特點

• 與庫和 Kubernetes 的良好集成

• 大量的內置插件，很容易編寫新的

8.2 價格

免費開源

8.3 優點

• 良好的性能和資源使用

• 良好的插件生態系統

• 易於使用的配置

• 良好的文檔

8.4 缺點

• 解析前沒有緩衝，可能會導致日誌管道出現背壓

• 對轉換數據的支持有限，就像您可以使用 Logstash 的 mutate 過濾器或 rsyslog 的變量和模板一樣

9、Splunk

Splunk 是最早的商業日誌集中工具之一，也是最受歡迎的。典型的部署是本地部署 (Splunk Enterprise)，儘管它也作爲服務提供 (Splunk Cloud)。您可以將日誌和指標發送到 Splunk 並一起分析它們。

9.1 主要特點

• 用於搜索和分析的強大查詢語言

• 搜索時字段提取（在攝取時解析之外）

• 自動將經常訪問的數據移動到快速存儲，將不經常訪問的數據自動移動到慢速存儲

9.2 價格

• 免費：每天 500MB 數據

• 付費計劃可應要求提供，但常見問題解答建議 1GB 的起價爲 150 美元 / 月

9.3 優點

• 成熟且功能豐富

• 對於大多數用例來說，良好的數據壓縮 (假設有有限的索引，正如推薦的那樣)

• 日誌和度量在一個屋檐下

9.4 缺點

• 貴

• 對於較長的時間範圍，查詢速度較慢 (建議使用有限的索引)

• 用於度量存儲的效率低於專注於監控的工具

原文：https://sourl.cn/WmX6SD

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/ZXbluNL6NK06D_G2QETBVw