面試官：千萬級數據，怎麼快速查詢？

你好，我是田哥

先來看一個面試場景：

面試官：來說說，一千萬的數據，你是怎麼查詢的？
小哥哥：直接分頁查詢，使用 limit 分頁。
面試官：有實操過嗎？
小哥哥：肯定有呀

也許有些朋友根本就沒遇過上千萬數據量的表，也不清楚查詢上千萬數據量的時候會發生什麼。

今天就來帶大家實操一下，這次是基於 MySQL 5.7.26 版本做測試

準備數據

沒有一千萬的數據怎麼辦？

創建唄

代碼創建一千萬？那是不可能的，太慢了，可能真的要跑一天。可以採用數據庫腳本執行速度快很多。

創建表

CREATE TABLE `user_operation_log`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `ip` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `op_data` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr1` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr3` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr4` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr5` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr6` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr7` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr8` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr9` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr10` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr11` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `attr12` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

創建數據腳本

採用批量插入，效率會快很多，而且每 1000 條數就 commit，數據量太大，也會導致批量插入效率慢

DELIMITER ;;
CREATE PROCEDURE batch_insert_log()
BEGIN
  DECLARE i INT DEFAULT 1;
  DECLARE userId INT DEFAULT 10000000;
 set @execSql = 'INSERT INTO `test`.`user_operation_log`(`user_id`, `ip`, `op_data`, `attr1`, `attr2`, `attr3`, `attr4`, `attr5`, `attr6`, `attr7`, `attr8`, `attr9`, `attr10`, `attr11`, `attr12`) VALUES';
 set @execData = '';
  WHILE i<=10000000 DO
   set @attr = "'測試很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長很長的屬性'";
  set @execData = concat(@execData, "(", userId + i, ", '10.0.69.175', '用戶登錄操作'", ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ",", @attr, ")");
  if i % 1000 = 0
  then
     set @stmtSql = concat(@execSql, @execData,";");
    prepare stmt from @stmtSql;
    execute stmt;
    DEALLOCATE prepare stmt;
    commit;
    set @execData = "";
   else
     set @execData = concat(@execData, ",");
   end if;
  SET i=i+1;
  END WHILE;

END;;
DELIMITER ;

開始測試

田哥的電腦配置比較低：win10 標壓渣渣 i5 讀寫約 500MB 的 SSD

由於配置低，本次測試只准備了 3148000 條數據，佔用了磁盤 5G(還沒建索引的情況下)，跑了 38min，電腦配置好的同學，可以插入多點數據測試

SELECT count(1) FROM `user_operation_log`

返回結果：3148000

三次查詢時間分別爲：

14060 ms
13755 ms
13447 ms

普通分頁查詢

MySQL 支持 LIMIT 語句來選取指定的條數數據， Oracle 可以使用 ROWNUM 來選取。

MySQL 分頁查詢語法如下：

SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset

第一個參數指定第一個返回記錄行的偏移量
第二個參數指定返回記錄行的最大數目

下面我們開始測試查詢結果：

SELECT * FROM `user_operation_log` LIMIT 10000, 10

查詢 3 次時間分別爲：

59 ms
49 ms
50 ms

這樣看起來速度還行，不過是本地數據庫，速度自然快點。

換個角度來測試

相同偏移量，不同數據量

SELECT * FROM `user_operation_log` LIMIT 10000, 10
SELECT * FROM `user_operation_log` LIMIT 10000, 100
SELECT * FROM `user_operation_log` LIMIT 10000, 1000
SELECT * FROM `user_operation_log` LIMIT 10000, 10000
SELECT * FROM `user_operation_log` LIMIT 10000, 100000
SELECT * FROM `user_operation_log` LIMIT 10000, 1000000

查詢時間如下：

4WG0Fe

從上面結果可以得出結束：數據量越大，花費時間越長

相同數據量，不同偏移量

SELECT * FROM `user_operation_log` LIMIT 100, 100
SELECT * FROM `user_operation_log` LIMIT 1000, 100
SELECT * FROM `user_operation_log` LIMIT 10000, 100
SELECT * FROM `user_operation_log` LIMIT 100000, 100
SELECT * FROM `user_operation_log` LIMIT 1000000, 100

ho25yD

從上面結果可以得出結束：偏移量越大，花費時間越長

SELECT * FROM `user_operation_log` LIMIT 100, 100
SELECT id, attr FROM `user_operation_log` LIMIT 100, 100

如何優化

既然我們經過上面一番的折騰，也得出了結論，針對上面兩個問題：偏移大、數據量大，我們分別着手優化

優化偏移量大問題

採用子查詢方式

我們可以先定位偏移位置的 id，然後再查詢數據

SELECT * FROM `user_operation_log` LIMIT 1000000, 10

SELECT id FROM `user_operation_log` LIMIT 1000000, 1

SELECT * FROM `user_operation_log` WHERE id >= (SELECT id FROM `user_operation_log` LIMIT 1000000, 1) LIMIT 10

查詢結果如下：

1piZsl

從上面結果得出結論：

第一條花費的時間最大，第三條比第一條稍微好點
子查詢使用索引速度更快

缺點：只適用於 id 遞增的情況

id 非遞增的情況可以使用以下寫法，但這種缺點是分頁查詢只能放在子查詢裏面

注意：某些 mysql 版本不支持在 in 子句中使用 limit，所以採用了多個嵌套 select

SELECT * FROM `user_operation_log` WHERE id IN (SELECT t.id FROM (SELECT id FROM `user_operation_log` LIMIT 1000000, 10) AS t)

採用 id 限定方式

這種方法要求更高些，id 必須是連續遞增，而且還得計算 id 的範圍，然後使用 between，sql 如下

SELECT * FROM `user_operation_log` WHERE id between 1000000 AND 1000100 LIMIT 100

SELECT * FROM `user_operation_log` WHERE id >= 1000000 LIMIT 100

查詢結果如下：

uxF6hc

從結果可以看出這種方式非常快

注意：這裏的 LIMIT 是限制了條數，沒有采用偏移量

優化數據量大問題

返回結果的數據量也會直接影響速度

SELECT * FROM `user_operation_log` LIMIT 1, 1000000

SELECT id FROM `user_operation_log` LIMIT 1, 1000000

SELECT id, user_id, ip, op_data, attr1, attr2, attr3, attr4, attr5, attr6, attr7, attr8, attr9, attr10, attr11, attr12 FROM `user_operation_log` LIMIT 1, 1000000

查詢結果如下：

jKcEkO

從結果可以看出減少不需要的列，查詢效率也可以得到明顯提升

第一條和第三條查詢速度差不多，這時候你肯定會吐槽，那我還寫那麼多字段幹啥呢，直接 * 不就完事了

注意本人的 MySQL 服務器和客戶端是在_同一臺機器_上，所以查詢數據相差不多，有條件的同學可以測測客戶端與 MySQL 分開

SELECT * 它不香嗎？

在這裏順便補充一下爲什麼要禁止 SELECT *。難道簡單無腦，它不香嗎？

主要兩點：

用 "SELECT *" 數據庫需要解析更多的對象、字段、權限、屬性等相關內容，在 SQL 語句複雜，硬解析較多的情況下，會對數據庫造成沉重的負擔。
增大網絡開銷，* 有時會誤帶上如 log、IconMD5 之類的無用且大文本字段，數據傳輸 size 會幾何增長。特別是 MySQL 和應用程序不在同一臺機器，這種開銷非常明顯。

結束

最後還是希望大家自己去實操一下，肯定還可以收穫更多！

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/ZYeFL8HEmGQs9RIbNHHXVQ

準備數據

創建表

創建數據腳本

開始測試

普通分頁查詢

相同偏移量，不同數據量

相同數據量，不同偏移量

如何優化

優化偏移量大問題

採用子查詢方式

採用 id 限定方式

優化數據量大問題

SELECT * 它不香嗎？

結束

猜你喜歡