圖解分佈式架構的演進

來自：清零者

鏈接：https://www.cnblogs.com/dump/p/8125539.html

參考：https://www.cnblogs.com/my376908915/p/6813321.html

一、什麼是分佈式架構

分佈式系統（distributed system） 是建立在網絡之上的軟件系統。

在分佈式數據系統中，用戶感覺不數據是分佈的，即用戶不須知道關係是否分割，有無副本，數據存在於那個站點以及事物在哪個站點上執行。

簡單來說：在一個分佈式系統中，一組獨立的計算機展現給用戶的是一個統一的整體，就好像是一個系統似的。

分佈式系統作爲一個整體對用戶提供服務，而整個系統的內部的協作對用戶來說是透明的，用戶就像是指使用一個 mysql 一樣。

如：分佈式 mysql 中間件 mycat , 來處理大併發大數據量的構架。

二、分佈式架構的應用

1、分佈式文件系統

例如：出名的有 Hadoop 的 HDFS, 還有 google 的 GFS , 淘寶的 TFS 等

2、分佈式緩存系統

例如：memcache , hbase, mongdb 等

3、分佈式數據庫

例如：mysql, mariadb, postgreSql 等

4、分佈式 webService

5、分佈式計算

舉例

以分佈式 mysql 數據庫中間件 mycat 爲例　　　　

MySQL 在現在電商以及互聯網公司的應用非常多，一個是因爲他的免費開源，另外一個原因是因爲分佈式系統的水平可擴展性，隨着移動互聯網用戶的暴增，互聯網公司，像淘寶，天貓，唯品會等

電商都採用分佈式系統應對用戶的高併發量以及大數據量的存儲。而在 Mycat 的商業案例中，有對中國移動的賬單結算項目中，應用實時處理高峯期每天 2 億的數據量，在對物聯網的項目中，實現處理

高達 26 億的數據量，並提供實時查詢的接口。

通過對 MyCat 的學習，加深分佈式系統架構的理解，以及分佈式相關的技術，分佈式一致性 ZooKeeper 服務, 高可用 HAProxy/keepalived 等相關應用。

1> 集羣 與 分佈式

2> 負載均衡

3> 分佈式相關的高可用、容災等名詞解釋

4> Mycat 中間件學習

三、資源推薦

1、大型分佈式網站架構設計與實踐 http://item.jd.com/11529266.html

2、大型網站技術架構：核心原理與案例分析 http://item.jd.com/11322972.html

3、大型網站系統與 Java 中間件實踐 http://item.jd.com/11449803.html

4、分佈式 Java 應用：基礎與實踐  http://item.jd.com/10144196.html

四、分佈式架構的演進

（1）初始階段架構

**特徵：**應用程序，數據庫，文件等所有資源都放在一臺服務器上。

（2）應用服務 和 數據服務 以及 文件服務 分離

 　　

**說明：**好景不長，發現隨着系統訪問量的再度增加，webserver 機器的壓力在高峯期會上升到比較高，這個時候開始考慮增加一臺 webserver。

**特徵：**應用程序、數據庫、文件分別部署在獨立的資源上。

（3）使用緩存改善性能

　　

**說明：**系統訪問特點遵循二八定律，即 80% 的業務訪問集中在 20% 的數據上。

緩存分爲 本地緩存 和 遠程分佈式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程序爭用內存的情況。

**特徵：**數據庫中訪問較集中的一小部分數據存儲在緩存服務器中，減少數據庫的訪問次數，降低數據庫的訪問壓力。

（4）使用 “應用服務器” 集羣

　　　　

**說明：**在做完分庫分表這些工作後，數據庫上的壓力已經降到比較低了，又開始過着每天看着訪問量暴增的幸福生活了。

突然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看數據庫，壓力一切正常，之後查看 webserver，發現 apache 阻塞了很多的請求，

而應用服務器對每個請求也是比較快的，看來是請求數太高導致需要排隊等待，響應速度變慢。

**特徵：**多臺服務器通過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。

**描述：**使用集羣是系統解決高併發、海量數據問題的常用手段。通過向集羣中追加資源，提升系統的併發處理能力，使得服務器的負載壓力不再成爲整個系統的瓶頸。

（5）數據庫讀寫分離

 　　　　

**說明：**享受了一段時間的系統訪問量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，經過查找，發現數據庫寫入、更新的這些操作的部分數據庫連接的資源競爭非常激烈，導致了系統變慢。

**特徵：**多臺服務器通過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。

**描述：**使用集羣是系統解決高併發、海量數據問題的常用手段。通過向集羣中追加資源，使得服務器的負載壓力不在成爲整個系統的瓶頸。

**（6）反向代理和 CDN 加速　**

**特徵：**採用 CDN 和反向代理加快系統的訪問速度。

**描述：**爲了應付複雜的網絡環境和不同地區用戶的訪問，通過 CDN 和反向代理加快用戶訪問的速度，同時減輕後端服務器的負載壓力。CDN 與反向代理的基本原理都是緩存。

（7）“分佈式文件” 系統 和 “分佈式數據庫”

　　　　　　

**說明：**隨着系統的不斷運行，數據量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，於是按照分庫的思想開始做分表的工作

**特徵：**數據庫採用分佈式數據庫，文件系統採用分佈式文件系統。

**描述：**任何強大的單一服務器都滿足不了大型系統持續增長的業務需求，數據庫讀寫分離隨着業務的發展最終也將無法滿足需求，需要使用分佈式數據庫及分佈式文件系統來支撐。

分佈式數據庫是系統數據庫拆分的最後方法，只有在單表數據規模非常龐大的時候才使用，更常用的數據庫拆分手段是業務分庫，將不同的業務數據庫部署在不同的物理服務器上。

（8）使用 NoSQL 和搜索引擎　　　　　　　

**特徵：**系統引入 NoSQL 數據庫及搜索引擎。

**描述：**隨着業務越來越複雜，對數據存儲和檢索的需求也越來越複雜，系統需要採用一些非關係型數據庫如 NoSQL 和分數據庫查詢技術如搜索引擎。

應用服務器通過統一數據訪問模塊訪問各種數據，減輕應用程序管理諸多數據源的麻煩。

（9）業務拆分

 　　

**特徵：**系統上按照業務進行拆分改造，應用服務器按照業務區分進行分別部署。

**描述：**爲了應對日益複雜的業務場景，通常使用分而治之的手段將整個系統業務分成不同的產品線，應用之間通過超鏈接建立關係，也可以通過消息隊列進行數據分發，

當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

**縱向拆分：**將一個大應用拆分爲多個小應用，如果新業務較爲獨立，那麼就直接將其設計部署爲一個獨立的 Web 應用系統 縱向拆分相對較爲簡單，通過梳理業務，將較少相關的業務剝離即可。

**橫向拆分：**將複用的業務拆分出來，獨立部署爲分佈式服務，新增業務只需要調用這些分佈式服務 橫向拆分需要識別可複用的業務，設計服務接口，規範服務依賴關係。

（10）分佈式服務

**特徵：**公共的應用模塊被提取出來，部署在分佈式服務器上供應用服務器調用。

**描述：**隨着業務越拆越小，應用系統整體複雜程度呈指數級上升，由於所有應用要和所有數據庫系統連接，最終導致數據庫連接資源不足，拒絕服務。

五、分佈式服務應用會面臨哪些問題？

(1) 當服務越來越多時，服務 URL 配置管理變得非常困難，F5 硬件負載均衡器的單點壓力也越來越大。

(2) 當進一步發展，服務間依賴關係變得錯蹤複雜，甚至分不清哪個應用要在哪個應用之前啓動，架構師都不能完整的描述應用的架構關係。

(3) 接着，服務的調用量越來越大，服務的容量問題就暴露出來，這個服務需要多少機器支撐？什麼時候該加機器？

(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？ 

(5) 一個服務有多個業務消費者，如何確保服務質量？

(6) 隨着服務的不停升級，總有些意想不到的事發生，比如 cache 寫錯了導致內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否可以功能降級？或者資源劣化？ 

參考資料：

億級 Web 系統搭建——單機到分佈式集羣：http://kb.cnblogs.com/page/509402/

網站架構 http://www.cnblogs.com/itfly8/tag / 網站架構 /

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/IcN1ek8dRcIt9f7tvJzRtg

猜你喜歡