一文幫你瞭解 MQ

一、簡介

MQ 全稱爲 Message Queue - 消息隊列,是一種應用程序對應用程序的消息通信,一端只管往隊列不斷髮布信息,另一端只管往隊列中讀取消息,發佈者不需要關心讀取消息的誰,讀取消息者不需要關心發佈消息的是誰,各幹各的互不干擾。

市場上現在常用的消息隊列有:RabbitMQ、RocketMQ、Kafka,ActiveMQ

二、MQ 的優勢

(1) 解耦

使用消息 MQ 後,只需要保證消息格式不變,不需要關心發佈者及消費者之間的關係,這兩者不需要彼此聯繫

(2) 異步

在一些不需要即時 (同步) 的返回結果操作,通過消息隊列來實現異步。

(3) 削峯

在大量請求時 (秒殺場景),使用消息隊列做緩衝處理,削弱峯值流量,防止系統在短時間內被峯值流量沖垮。

場景:在大量流量湧入高峯,如數據庫只能抗住 2000 的併發流量,可以使用 MQ 控制 2000 到數據庫中

(4) 日誌處理

日誌存儲在消息隊列中,用來處理日誌,比如 kafka。

三、MQ 的劣勢

在還未引進 MQ 之前,系統只需要關係生產端與消費端的接口一致性就可以了,現在引進後,系統需要關注生產端、MQ 與消費端三者的穩定性,這增加系統的負擔,系統運維成本增加。

引入了 MQ,需要考慮的問題就增加了,如何保障消息的一致性,消費不被重複消費等問題,

A 系統發送完消息直接返回成功,但是 BCD 系統之中若有系統寫庫失敗,則會產生數據不一致的問題。

四、常見的問題

(1) 怎麼保證消息沒有重複消費?使用消息隊列如何保證冪等性

冪等性:就是用戶對於同一操作發起的一次請求或者多次請求的結果是一致的,不會因爲多次點擊而產生了副作用

問題出現原因

我們先來了解一下產生消息重複消費的原因,對於 MQ 的使用,有三個角色:生產者、MQ、消費者,那麼消息的重複這三者會出現:

解決方案

在正常情況下,生產者是客戶,我們很難避免出現用戶重複點擊的情況,而 MQ 是允許存在多條一樣的消息,但消費者是不允許出現消費兩條一樣的數據,所以冪等性一般是在消費端實現的:

(2) 消息丟失的情況

(3) 消息的傳輸順序性

解決思路

在生產端發佈消息時,每次法發佈消息都把上一條消息的 ID 記錄到消息體中,消費者接收到消息時,做如下操作

(4) 怎麼解決百萬消息積壓問題

根據消息重要程度,可以分爲兩種情況處理

程序員追風 專注於分享 Java 各類學習筆記、面試題以及 IT 類資訊。

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/9OkkUoSALTaUm99yHP4nqA