關於數據庫分庫分表的一切都在這裏了

本文來源： https://www.cnblogs.com/butterfly100/p/9034281.html

數據切分

關係型數據庫本身比較容易成爲系統瓶頸，單機存儲容量、連接數、處理能力都有限。

當單表的數據量達到 1000W 或 100G 以後，由於查詢維度較多，即使添加從庫、優化索引，做很多操作時性能仍下降嚴重。

此時就要考慮對其進行切分了，切分的目的就在於減少數據庫的負擔，縮短查詢時間。

數據庫分佈式核心內容無非就是數據切分（Sharding），以及切分後對數據的定位、整合。

數據切分就是將數據分散存儲到多個數據庫中，使得單一數據庫中的數據量變小，通過擴充主機的數量緩解單一數據庫的性能問題，從而達到提升數據庫操作性能的目的。

數據切分根據其切分類型，可以分爲兩種方式：

垂直（縱向）切分

垂直切分常見有垂直分庫和垂直分表兩種。

垂直分庫就是根據業務耦合性，將關聯度低的不同表存儲在不同的數據庫。做法與大系統拆分爲多個小系統類似，按業務分類進行獨立劃分。

與 "微服務治理" 的做法相似，每個微服務使用單獨的一個數據庫，如下圖：

垂直分表是基於數據庫中的 "列" 進行，某個表字段較多，可以新建一張擴展表，將不經常用或字段長度較大的字段拆分出去到擴展表中。

在字段很多的情況下（例如一個大表有 100 多個字段），通過 "大表拆小表"，更便於開發與維護，也能避免跨頁問題，MySQL 底層是通過數據頁存儲的，一條記錄佔用空間過大會導致跨頁，造成額外的性能開銷。

另外數據庫以行爲單位將數據加載到內存中，這樣表中字段長度較短且訪問頻率較高，內存能加載更多的數據，命中率更高，減少了磁盤 IO，從而提升了數據庫性能。

垂直切分的優點如下：

垂直切分的缺點如下：

水平（橫向）切分

當一個應用難以再細粒度的垂直切分，或切分後數據量行數巨大，存在單庫讀寫、存儲性能瓶頸，這時候就需要進行水平切分了。

水平切分分爲庫內分表和分庫分表，是根據表內數據內在的邏輯關係，將同一個表按不同的條件分散到多個數據庫或多個表中，每個表中只包含一部分數據，從而使得單個表的數據量變小，達到分佈式的效果。

如圖所示： 

庫內分表只解決了單一表數據量過大的問題，但沒有將表分佈到不同機器的庫上。

因此對於減輕 MySQL 數據庫的壓力來說，幫助不是很大，大家還是競爭同一個物理機的 CPU、內存、網絡 IO，最好通過分庫分表來解決。

水平切分的優點如下：

水平切分的缺點：

水平切分後同一張表會出現在多個數據庫 / 表中，每個庫 / 表的內容不同。幾種典型的數據分片規則爲：

①根據數值範圍： 按照時間區間或 ID 區間來切分。

例如：按日期將不同月甚至是日的數據分散到不同的庫中；將 userId 爲 1~9999 的記錄分到第一個庫，10000~20000 的分到第二個庫，以此類推。

某種意義上，某些系統中使用的 "冷熱數據分離"，將一些使用較少的歷史數據遷移到其他庫中，業務功能上只提供熱點數據的查詢，也是類似的實踐。

這樣的優點在於：

缺點在於：熱點數據成爲性能瓶頸。連續分片可能存在數據熱點，例如按時間字段分片，有些分片存儲最近時間段內的數據，可能會被頻繁的讀寫，而有些分片存儲的歷史數據，則很少被查詢。

②根據數值取模： 一般採用 hash 取模 mod 的切分方式。

例如：將 Customer 表根據 cusno 字段切分到 4 個庫中，餘數爲 0 的放到第一個庫，餘數爲 1 的放到第二個庫，以此類推。

這樣同一個用戶的數據會分散到同一個庫中，如果查詢條件帶有 cusno 字段，則可明確定位到相應庫去查詢。

優點：數據分片相對比較均勻，不容易出現熱點和併發訪問的瓶頸

缺點如下：

分庫分錶帶來的問題

分庫分表能有效的緩解單機和單庫帶來的性能瓶頸和壓力，突破網絡 IO、硬件資源、連接數的瓶頸，同時也帶來了一些問題。下面將描述這些技術挑戰以及對應的解決思路。 

事務一致性問題

①分佈式事務

當更新內容同時分佈在不同庫中，不可避免會帶來跨庫事務問題。跨分片事務也是分佈式事務，沒有簡單的方案，一般可使用 "XA 協議" 和 "兩階段提交" 處理。

分佈式事務能最大限度保證了數據庫操作的原子性。但在提交事務時需要協調多個節點，推後了提交事務的時間點，延長了事務的執行時間。導致事務在訪問共享資源時發生衝突或死鎖的概率增高。

隨着數據庫節點的增多，這種趨勢會越來越嚴重，從而成爲系統在數據庫層面上水平擴展的枷鎖。

②最終一致性

對於那些性能要求很高，但對一致性要求不高的系統，往往不苛求系統的實時一致性，只要在允許的時間段內達到最終一致性即可，可採用事務補償的方式。

與事務在執行中發生錯誤後立即回滾的方式不同，事務補償是一種事後檢查補救的措施。

一些常見的實現方法有：對數據進行對賬檢查，基於日誌進行對比，定期同標準數據來源進行同步等等。事務補償還要結合業務系統來考慮。

跨節點關聯查詢 join 問題

切分之前，系統中很多列表和詳情頁所需的數據可以通過 sql join 來完成。

而切分之後，數據可能分佈在不同的節點上，此時 join 帶來的問題就比較麻煩了，考慮到性能，儘量避免使用 join 查詢。

解決這個問題的一些方法：

①全局表： 全局表，也可看做是 "數據字典表"，就是系統中所有模塊都可能依賴的一些表，爲了避免跨庫 join 查詢，可以將這類表在每個數據庫中都保存一份。這些數據通常很少會進行修改，所以也不擔心一致性的問題。

②字段冗餘： 一種典型的反範式設計，利用空間換時間，爲了性能而避免 join 查詢。

例如：訂單表保存 userId 時候，也將 userName 冗餘保存一份，這樣查詢訂單詳情時就不需要再去查詢 "買家 user 表" 了。

但這種方法適用場景也有限，比較適用於依賴字段比較少的情況。而冗餘字段的數據一致性也較難保證，就像上面訂單表的例子，買家修改了 userName 後，是否需要在歷史訂單中同步更新呢？這也要結合實際業務場景進行考慮。

③數據組裝： 在系統層面，分兩次查詢，第一次查詢的結果集中找出關聯數據  id，然後根據 id 發起第二次請求得到關聯數據。最後將獲得到的數據進行字段拼裝。

④ER 分片： 關係型數據庫中，如果可以先確定表之間的關聯關係，並將那些存在關聯關係的表記錄存放在同一個分片上，那麼就能較好的避免跨分片 join 問題。在 1:1 或 1:n 的情況下，通常按照主表的 ID 主鍵切分。

如下圖所示：

這樣一來，Data Node1 上面的 order 訂單表與 orderdetail 訂單詳情表就可以通過 orderId 進行局部的關聯查詢了，Data Node2 上也一樣。

跨節點分頁、排序、函數問題

跨節點多庫進行查詢時，會出現 limit 分頁、order by 排序等問題。分頁需要按照指定字段進行排序，當排序字段就是分片字段時，通過分片規則就比較容易定位到指定的分片；當排序字段非分片字段時，就變得比較複雜了。

需要先在不同的分片節點中將數據進行排序並返回，然後將不同分片返回的結果集進行彙總和再次排序，最終返回給用戶。

如圖所示：

上圖中只是取第一頁的數據，對性能影響還不是很大。但是如果取得頁數很大，情況則變得複雜很多。

因爲各分片節點中的數據可能是隨機的，爲了排序的準確性，需要將所有節點的前 N 頁數據都排序好做合併，最後再進行整體的排序，這樣的操作是很耗費 CPU 和內存資源的，所以頁數越大，系統的性能也會越差。

在使用 Max、Min、Sum、Count 之類的函數進行計算的時候，也需要先在每個分片上執行相應的函數，然後將各個分片的結果集進行彙總和再次計算，最終將結果返回。

如圖所示：

全局主鍵避重問題

在分庫分表環境中，由於表中數據同時存在不同數據庫中，主鍵值平時使用的自增長將無用武之地，某個分區數據庫自生成的 ID 無法保證全局唯一。

因此需要單獨設計全局主鍵，以避免跨庫主鍵重複問題。有一些常見的主鍵生成策略：

①UUID

UUID 標準形式包含 32 個 16 進制數字，分爲 5 段，形式爲 8-4-4-4-12 的 36 個字符，例如：550e8400-e29b-41d4-a716-446655440000。

UUID 是主鍵是最簡單的方案，本地生成，性能高，沒有網絡耗時。但缺點也很明顯，由於 UUID 非常長，會佔用大量的存儲空間。

另外，作爲主鍵建立索引和基於索引進行查詢時都會存在性能問題，在 InnoDB 下，UUID 的無序性會引起數據位置頻繁變動，導致分頁。

②結合數據庫維護主鍵 ID 表

在數據庫中建立 sequence 表：

CREATE TABLE `sequence` (  
  `id` bigint(20) unsigned NOT NULL auto_increment,  
  `stub` char(1) NOT NULL default '',  
  PRIMARY KEY  (`id`),  
  UNIQUE KEY `stub` (`stub`)  
) ENGINE=MyISAM;

stub 字段設置爲唯一索引，同一 stub 值在 sequence 表中只有一條記錄，可以同時爲多張表生成全局 ID。

sequence 表的內容，如下所示：

+-------------------+------+  
| id                | stub |  
+-------------------+------+  
| 72157623227190423 |    a |  
+-------------------+------+

使用 MyISAM 存儲引擎而不是 InnoDB，以獲取更高的性能。MyISAM 使用的是表級別的鎖，對錶的讀寫是串行的，所以不用擔心在併發時兩次讀取同一個 ID 值。

當需要全局唯一的 64 位 ID 時，執行：

REPLACE INTO sequence (stub) VALUES ('a');  
SELECT LAST_INSERT_ID();

這兩條語句是 Connection 級別的，select last_insert_id() 必須與 replace into 在同一數據庫連接下才能得到剛剛插入的新 ID。

使用 replace into 代替 insert into 好處是避免了錶行數過大，不需要另外定期清理。

此方案較爲簡單，但缺點也明顯：存在單點問題，強依賴 DB，當 DB 異常時，整個系統都不可用

配置主從可以增加可用性，但當主庫掛了，主從切換時，數據一致性在特殊情況下難以保證。另外性能瓶頸限制在單臺 MySQL 的讀寫性能。

flickr 團隊使用的一種主鍵生成策略，與上面的 sequence 表方案類似，但更好的解決了單點和性能瓶頸的問題。

這一方案的整體思想是：建立 2 個以上的全局 ID 生成的服務器，每個服務器上只部署一個數據庫，每個庫有一張 sequence 表用於記錄當前全局 ID。

表中 ID 增長的步長是庫的數量，起始值依次錯開，這樣能將 ID 的生成散列到各個數據庫上。

如下圖所示：

由兩個數據庫服務器生成 ID，設置不同的 auto_increment 值。第一臺 sequence 的起始值爲 1，每次步長增長 2，另一臺的 sequence 起始值爲 2，每次步長增長也是 2。

結果第一臺生成的 ID 都是奇數（1, 3, 5, 7 ...），第二臺生成的 ID 都是偶數（2, 4, 6, 8 ...）。

這種方案將生成 ID 的壓力均勻分佈在兩臺機器上。同時提供了系統容錯，第一臺出現了錯誤，可以自動切換到第二臺機器上獲取 ID。

但有以下幾個缺點：系統添加機器，水平擴展時較複雜；每次獲取 ID 都要讀寫一次 DB，DB 的壓力還是很大，只能靠堆機器來提升性能。

可以基於 flickr 的方案繼續優化，使用批量的方式降低數據庫的寫壓力，每次獲取一段區間的 ID 號段，用完之後再去數據庫獲取，可以大大減輕數據庫的壓力。

如下圖所示：

還是使用兩臺 DB 保證可用性，數據庫中只存儲當前的最大 ID。ID 生成服務每次批量拉取 6 個 ID，先將 max_id 修改爲 5，當應用訪問 ID 生成服務時，就不需要訪問數據庫，從號段緩存中依次派發 0~5 的 ID。

當這些 ID 發完後，再將 max_id 修改爲 11，下次就能派發 6~11 的 ID。於是，數據庫的壓力降低爲原來的 1/6。

③Snowflake 分佈式自增 ID 算法

Twitter 的 Snowflake 算法解決了分佈式系統生成全局 ID 的需求，生成 64 位的 Long 型數字。

組成部分：

這樣的好處是： 毫秒數在高位，生成的 ID 整體上按時間趨勢遞增；不依賴第三方系統，穩定性和效率較高。

理論上 QPS 約爲 409.6w/s（1000*2^12），並且整個分佈式系統內不會產生 ID 碰撞；可根據自身業務靈活分配 bit 位。

不足就在於： 強依賴機器時鐘，如果時鐘回撥，則可能導致生成 ID 重複。

綜上結合數據庫和 Snowflake 的唯一 ID 方案，可以參考業界較爲成熟的解法：Leaf——美團點評分佈式 ID 生成系統，並考慮到了高可用、容災、分佈式下時鐘等問題：

https://tech.meituan.com/2017/04/21/mt-leaf.html

數據遷移、擴容問題

當業務高速發展，面臨性能和存儲的瓶頸時，纔會考慮分片設計，此時就不可避免的需要考慮歷史數據遷移的問題。

一般做法是先讀出歷史數據，然後按指定的分片規則再將數據寫入到各個分片節點中。

此外還需要根據當前的數據量和 QPS，以及業務發展的速度，進行容量規劃，推算出大概需要多少分片（一般建議單個分片上的單表數據量不超過 1000W）。

如果採用數值範圍分片，只需要添加節點就可以進行擴容了，不需要對分片數據遷移。如果採用的是數值取模分片，則考慮後期的擴容問題就相對比較麻煩。

什麼時候考慮切分

下面講述一下什麼時候需要考慮做數據切分。

①能不切分儘量不要切分

並不是所有表都需要進行切分，主要還是看數據的增長速度。切分後會在某種程度上提升業務的複雜度，數據庫除了承載數據的存儲和查詢外，協助業務更好的實現需求也是其重要工作之一。

不到萬不得已不用輕易使用分庫分表這個大招，避免 "過度設計" 和 "過早優化"。

分庫分表之前，不要爲分而分，先盡力去做力所能及的事情，例如：升級硬件、升級網絡、讀寫分離、索引優化等等。當數據量達到單表的瓶頸時候，再考慮分庫分表。

②數據量過大，正常運維影響業務訪問

這裏說的運維指：

③隨着業務發展，需要對某些字段垂直拆分

舉個例子，假如項目一開始設計的用戶表如下：

id                   bigint             #用戶的ID
name                 varchar            #用戶的名字
last_login_time      datetime           #最近登錄時間
personal_info        text               #私人信息
.....                                   #其他信息字段

在項目初始階段，這種設計是滿足簡單的業務需求的，也方便快速迭代開發。

而當業務快速發展時，用戶量從 10w 激增到 10 億，用戶非常的活躍，每次登錄會更新 last_login_name 字段，使得 user 表被不斷 update，壓力很大。

而其他字段：id，name，personal_info 是不變的或很少更新的，此時在業務角度，就要將 last_login_time 拆分出去，新建一個 user_time 表。

personal_info 屬性是更新和查詢頻率較低的，並且 text 字段佔據了太多的空間。這時候，就要對此垂直拆分出 user_ext 表了。

④數據量快速增長

隨着業務的快速發展，單表中的數據量會持續增長，當性能接近瓶頸時，就需要考慮水平切分，做分庫分表了。此時一定要選擇合適的切分規則，提前預估好數據容量。

⑤安全性和可用性

雞蛋不要放在一個籃子裏。在業務層面上垂直切分，將不相關的業務的數據庫分隔，因爲每個業務的數據量、訪問量都不同，不能因爲一個業務把數據庫搞掛而牽連到其他業務。

利用水平切分，當一個數據庫出現問題時，不會影響到 100% 的用戶，每個庫只承擔業務的一部分數據，這樣整體的可用性就能提高。

案例分析

用戶中心業務場景

用戶中心是一個非常常見的業務，主要提供用戶註冊、登錄、查詢 / 修改等功能，其核心表爲：

User(uid, login_name, passwd, sex, age, nickname)

uid爲用戶ID,  主鍵
login_name, passwd, sex, age, nickname,  用戶屬性

任何脫離業務的架構設計都是耍流氓，在進行分庫分表前，需要對業務場景需求進行梳理：

用戶側： 前臺訪問，訪問量較大，需要保證高可用和高一致性。

主要有兩類需求：

運營側： 後臺訪問，支持運營需求，按照年齡、性別、登陸時間、註冊時間等進行分頁的查詢。是內部系統，訪問量較低，對可用性、一致性的要求不高。

水平切分方法

當數據量越來越大時，需要對數據庫進行水平切分，上文描述的切分方法有 "根據數值範圍" 和 "根據數值取模"。

"根據數值範圍"： 以主鍵 uid 爲劃分依據，按 uid 的範圍將數據水平切分到多個數據庫上。

例如：user-db1 存儲 uid 範圍爲 0~1000w 的數據，user-db2 存儲 uid 範圍爲 1000w~2000w uid 數據。

優點是：擴容簡單，如果容量不夠，只要增加新 DB 即可。

不足是：請求量不均勻，一般新註冊的用戶活躍度會比較高，所以新的 user-db2 會比 user-db1 負載高，導致服務器利用率不平衡。

"根據數值取模"： 也是以主鍵 uid 爲劃分依據，按 uid 取模的值將數據水平切分到多個數據庫上。

例如：user-db1 存儲 uid 取模得 1 的數據，user-db2 存儲 uid 取模得 0 的 uid 數據。

優點是：數據量和請求量分佈均勻。

不足是：擴容麻煩，當容量不夠時，新增加 DB，需要 rehash。需要考慮對數據進行平滑的遷移。

非 uid 的查詢方法

水平切分後，對於按 uid 查詢的需求能很好的滿足，可以直接路由到具體數據庫。

而按非 uid 的查詢，例如 login_name，就不知道具體該訪問哪個庫了，此時需要遍歷所有庫，性能會降低很多。

對於用戶側，可以採用 "建立非 uid 屬性到 uid 的映射關係" 的方案；對於運營側，可以採用 "前臺與後臺分離" 的方案。

①建立非 uid 屬性到 uid 的映射關係

映射關係： 例如：login_name 不能直接定位到數據庫，可以建立 login_name→uid 的映射關係，用索引表或緩存來存儲。

當訪問 login_name 時，先通過映射表查詢出 login_name 對應的 uid，再通過 uid 定位到具體的庫。

映射表只有兩列，可以承載很多數據，當數據量過大時，也可以對映射表再做水平切分。

這類 kv 格式的索引結構，可以很好的使用 cache 來優化查詢性能，而且映射關係不會頻繁變更，緩存命中率會很高。

基因法： 分庫基因，假如通過 uid 分庫，分爲 8 個庫，採用 uid%8 的方式進行路由，此時是由 uid 的最後 3bit 來決定這行 User 數據具體落到哪個庫上，那麼這 3bit 可以看爲分庫基因。

上面的映射關係的方法需要額外存儲映射表，按非 uid 字段查詢時，還需要多一次數據庫或 cache 的訪問。

如果想要消除多餘的存儲和查詢，可以通過 f 函數取 login_name 的基因作爲 uid 的分庫基因。

生成 uid 時，參考上文所述的分佈式唯一 ID 生成方案，再加上最後 3 位 bit 值 = f(login_name)。

當查詢 login_name 時，只需計算 f(login_name)%8 的值，就可以定位到具體的庫。

不過這樣需要提前做好容量規劃，預估未來幾年的數據量需要分多少庫，要預留一定 bit 的分庫基因。

②前臺與後臺分離

對於用戶側，主要需求是以單行查詢爲主，需要建立 login_name/phone/email 到 uid 的映射關係，可以解決這些字段的查詢問題。

而對於運營側，很多批量分頁且條件多樣的查詢，這類查詢計算量大，返回數據量大，對數據庫的性能消耗較高。

此時，如果和用戶側共用同一批服務或數據庫，可能因爲後臺的少量請求，佔用大量數據庫資源，而導致用戶側訪問性能降低或超時。

這類業務最好採用 "前臺與後臺分離" 的方案，運營側後臺業務抽取獨立的 service 和 DB，解決和前臺業務系統的耦合

由於運營側對可用性、一致性的要求不高，可以不訪問實時庫，而是通過 binlog 異步同步數據到運營庫進行訪問。

在數據量很大的情況下，還可以使用 ES 搜索引擎或 Hive 來滿足後臺複雜的查詢方式。

支持分庫分表中間件

站在巨人的肩膀上能省力很多，目前分庫分表已經有一些較爲成熟的開源解決方案：

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/CYOLddgCfmaehzCVGdIopA

猜你喜歡