一文輕鬆圖解搞懂 Elasticsearch 原理！

大家好, 我是 風哥

ES 的集羣模式和 kafka 很像，kafka 又和 redis 的集羣模式很像。總之就是相互借鑑！

不管你用沒用過 ES，今天我們一起聊聊它。就當擴展大家的知識廣度了！

認識倒排索引

正排索引 VS 倒排索引

倒排索引包括兩個部分

單詞詞典一般比較大，可以通過 B+ 樹 或 哈希拉鍊法實現，以滿足高性能的插入與查詢

ElasticSearch 的倒排索引：

分佈式架構原理

分片 shard：一個索引可以拆分成多個 shard 分片。

將 ES 集羣部署在 3 個 機器上（esnode1、esnode2、esnode3）：

創建個索引，分片爲 3 個，副本數設置爲 1：

PUT /sku_index/_settings
{
    "settings": {
        "number_of_shards" : 3,
        "number_of_replicas": 1
    }
}

響應：
{
  "acknowledged" : true
}

ES 集羣中有多個節點，會自動選舉一個節點爲 master 節點，如上圖的 esnode2 節點：

集羣中某節點宕機：

寫入數據的工作原理

寫單個文檔所需的步驟：

  1. 客戶端選擇一個 Node 發送請求，那麼這個 Node 就稱爲 協調節點（Coorinating Node）。

  2. Node 使用文檔 ID 來確定文檔屬於分片 0，通過集羣狀態中的內容路由表信息獲知分片 0 的主分片在 Node1 上，因此將請求轉發到 Node1 上。

  3. Node1 上的主分片執行寫操作。如果寫入成功，則將請求並行轉發到 Node3 的副分片上，等待返回結果。

當所有的副分片都報告成功，Node1 將向 Node （協調節點）報告成功。

Tips：客戶端收到成功響應時，意味着寫操作已經在主分片和所有副分片都執行完成。

寫數據底層原理

寫操作可分爲 3 個主要操作：

  1. 寫入新文檔： 這時候搜索，是搜索不到。
  1. refresh 操作： 默認每隔 1s ，將內存中的文檔寫入文件系統緩存（filesystem cache）構成一個 segment

這時候搜索，可以搜索到數據。

  1. flush 操作： 默認每隔 30 分鐘 或者 translog 文件 512MB ，將文件系統緩存中的 segment 寫入磁盤，並將 translog 刪除。

讀取數據的工作原理

讀取文檔所需的步驟：

  1. 客戶端選擇一個 Node 發送請求，那麼這個 Node 就稱爲 協調節點（Coorinating Node）。

  2. Node 使用文檔 ID 來確定文檔屬於分片 0，通過集羣狀態中的內容路由表信息獲知分片 0 有 2 個副本數據（一主一副），會使用隨機輪詢算法選擇出一個分片，這裏將請求轉發到 Node1

  3. Node1 將文檔返回給 Node，Node 將文檔返回給客戶端。

在讀取時，文檔可能已經存在於主分片上，但還沒有複製到副分片，這種情況下：

搜索工作原理

搜索數據過程：

  1. 客戶端選擇一個 Node 發送請求，那麼這個 Node 就稱爲 協調節點（Coorinating Node）。

  2. Node 協調節點將搜索請求轉發到所有的 分片（shard）：主分片 或 副分片，都可以。

  3. query 階段：每個分片 shard 將自己的搜索結果（文檔 ID）返回給協調節點，由協調節點進行數據的合併、排序、分頁等操作，產出最終結果。

  4. fetch 階段：由協調節點根據 文檔 ID 去各個節點上拉取實際的文檔數據。

舉個栗子： 有 3 個分片，查詢返回前 10 個匹配度最高的文檔

  1. 每個分片都查詢出當前分片的 TOP 10 數據

  2. 協調節點 將 3 * 10 = 30 的結果再次排序，返回最終 TOP 10 的結果

刪除 / 更新數據底層原理

底層邏輯是：

來源：juejin.cn/post/7110610301669605383

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/tPEP6r5iku12zoyR4CstNA

猜你喜歡