分庫分表有哪些思路和技巧？
大家好，我是冰河~~
冰河曾經經歷過一個完整電商系統用戶從零到上億的研發過程，在業務的不斷髮展與變化過程中，演化出電商系統和基於大數據的商品精準實時推薦平臺。
關於 MySQL 數據庫的架構演進，小夥伴們可以參考《從零到千萬用戶，我是如何一步步優化 MySQL 數據庫的？》。
關於系統的架構演進，小夥伴們可以參考《系統從初期到支撐億級流量，都經歷了哪些架構上的演變？》。
在系統的研發過程中，隨着數據量的不斷增長，單庫單表已無法滿足數據的存儲需求，此時，我們就需要對數據庫進行分庫分表操作。
那在互聯網大廠，分庫分表通常有哪些思路和技巧呢？
今天，我就將這些思路和技巧分享給大家。
注：本文已收錄到：
https://github.com/sunshinelyz/technology-binghe
https://gitee.com/binghe001/technology-binghe
分庫分表
分庫分表是隨着業務的不斷髮展，單庫單表無法承載整體的數據存儲時，採取的一種將整體數據分散存儲到不同服務器上的不同數據庫中的不同數據表的存儲方案。
分庫分表能夠有效的緩解數據的存儲壓力，分庫分表是數據存儲達到一定規模時必然會遇到的問題。
掌握分庫分表的思路和技巧有助於小夥伴們更好的解決實際工作中，有關數據拆分的問題。
接下來，我們就分別對分表和分庫來談談一些使用的思路和技巧。
分表
分表，最直白的意思，就是將一個表結構分爲多個表，然後，可以在同一個庫裏，也可以放到不同的庫。
當然，首先要知道什麼情況下，才需要分表。個人覺得單表記錄條數達到百萬到千萬級別時就要使用分表了。
分表的分類
1. 縱向分表
將本來可以在同一個表的內容，人爲劃分爲多個表。（所謂的本來，是指按照關係型數據庫的第三範式要求，是應該在同一個表的。）
分表技巧： 根據數據的活躍度進行分離，（因爲不同活躍的數據，處理方式是不同的）
案例：
對於一個博客系統，文章標題，作者，分類，創建時間等，是變化頻率慢，查詢次數多，而且最好有很好的實時性的數據，我們把它叫做冷數據。
而博客的瀏覽量，回覆數等，類似的統計信息，或者別的變化頻率比較高的數據，我們把它叫做活躍數據。
所以，在進行數據庫結構設計的時候，就應該考慮分表，首先是縱向分表的處理。
這樣縱向分表後：
（1）首先，存儲引擎的使用不同，冷數據使用 MyIsam 可以有更好的查詢數據。活躍數據，可以使用 Innodb , 可以有更好的更新速度。
（2）其次，對冷數據進行更多的從庫配置，因爲更多的操作是查詢，這樣來加快查詢速度。對熱數據，可以相對有更多的主庫的橫向分表處理。
其實，對於一些特殊的活躍數據，也可以考慮使用 memcache ,redis 之類的緩存，等累計到一定量再去更新數據庫。或者 mongodb 一類的 nosql 數據庫，這裏只是舉例，就先不說這個。
2. 橫向分表
字面意思，就可以看出來，是把大的表結構，橫向切割爲同樣結構的不同表，如，用戶信息表，user_1,user_2 等。
表結構是完全一樣，但是，根據某些特定的規則來劃分的表，如根據用戶 ID 來取模劃分。
分表技巧： 根據數據量的規模來劃分，保證單表的容量不會太大，從而來保證單表的查詢等處理能力。
案例：
同上面的例子，博客系統。當博客的量達到很大的時候，就應該採取橫向分割來降低每個單表的壓力，來提升性能。
例如博客的冷數據表，假如分爲 100 個表，當同時有 100 萬個用戶在瀏覽時，如果是單表的話，會進行 100 萬次請求。
而現在分表後，就可能是每個表進行 1 萬個數據的請求（因爲，不可能絕對的平均，只是假設），這樣壓力就降低了很多。
注意：數據庫的複製能解決訪問問題，並不能解決大規模的併發寫入問題，要解決這個問題就要考慮 MySQL 數據切分了。
數據切分
顧名思義，就是數據分散，將一臺主機上的數據分攤到多臺，減輕單臺主機的負載壓力，有兩種切分方式：
一種是分庫，即按照業務模塊分多個庫，每個庫中的表不一樣。
還有一種就是分表，按照一定的業務規則或者邏輯將數據拆分到不同的主機上，每個主機上的表是一樣的，這個有點類似於 Oracle 的表分區。
分區
分庫又叫垂直分區，這種方式實現起來比較簡單，重要的是對業務要細化，分庫時候要想清楚各個模塊業務之間的交互情況，避免將來寫程序時出現過多的跨庫讀寫操作。
分表又叫水平分區，這種方式實現起來就比垂直分區複雜些，但是它能解決垂直分區所不能解決的問題。
即單張表的訪問及寫入很頻繁，這時候就可以根據一定的業務規則（PS：如互聯網 BBS 論壇的會員等級概念，根據會員等級來分表）來分表，這樣就能減輕單表壓力，並且還能解決各個模塊的之間的頻繁交互問題。
分庫的優點是： 實現簡單，庫與庫之間界限分明，便於維護，缺點是不利於頻繁跨庫操作，不能解決單表數據量大的問題。
分表的優點是： 能解決分庫的不足點，但是缺點卻恰恰是分庫的優點，分表實現起來比較複雜，特別是分表規則的劃分，程序的編寫，以及後期的數據庫拆分移植維護。
實際應用
實際應用中，一般互聯網企業的路線都是先分庫再分表，兩者結合使用，取長補短，這樣發揮了 MySQL 擴展的最大優勢，但是缺點是架構很大，很複雜，應用程序的編寫也比較複雜。
以上是 MySQL 的數據切分的一些概念，數據切完了，現在要做的是怎麼樣在整合起來以便於外界訪問。
因爲程序訪問的入口永遠只有一個，現在比較常用的解決方案是通過中間代理層來統一管控所有數據源。
例如，可以使用冰河深度參與開發的 Mycat 中間件，也可以使用亮總開源的 ShardingSphere 中間件。
好了，今天就到這兒吧，我是冰河，我們下期見~~
本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/lGBzXYTrbS4ufwzTbsvO1Q