如何高效的在MySQL百萬級數據量級下遷移到redis，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

創新互聯專注于企業成都全網營銷推廣、網站重做改版、蛟河網站定制設計、自適應品牌網站建設、HTML5、商城系統網站開發、集團公司官網建設、成都外貿網站建設、高端網站制作、響應式網頁設計等建站業務，價格優惠性價比高，為蛟河等各大城市提供網站開發制作服務。

redis協議學習

協議的格式為：

*<參數數量>  \r
$<參數 1 的字節數量>  \r
<參數 1 的數據> \r
...
$<參數 N 的字節數量> \r
<參數 N 的數據> \r\n

比如：插入一條hash類型的數據。

HSET id book1 book_description1

根據Redis協議，總共有4個部分，所以開頭為*4，其余內容解釋如下：

內容長度協議命令HSET4$4id2$2book15$5book_description117$17

注意一下：HSET命令本身也作為協議的其中一個參數來發送。

構造出來的協議數據結構：

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r

格式化一下：

*4\r
$4\r
HSET\r
$2\r
idvvvv\r
$5\r
book1\r
$17\r
book_description1\r\n

RESP協議 bulk

Redis客戶機使用一種稱為RESP (Redis序列化協議)的協議與Redis服務器通信。

redis-cli pipe模式需要和nc命令一樣快，并且解決了nc命令不知道何時命令結束的問題。

在發送數據的同時，它同樣會去讀取響應，嘗試去解析。

一旦輸入流中沒有讀取到更多的數據之后，它就會發送一個特殊的20比特的echo命令，標識最后一個命令已經發送完畢如果在響應結果中匹配到這個相同數據后，說明本次批量發送是成功的。

使用這個技巧，我們不需要解析發送給服務器的協議來了解我們發送了多少命令，只需要解析應答即可。

在解析應答時，redis會對解析的應答進行一個計數，在最后能夠告訴用戶大量插入會話向服務器傳輸的命令的數量。也就是上面我們使用pipe模式實際操作的響應結果。

將輸入數據源換成mysql

上面的例子中，我們以一個txt文本為輸入數據源，使用了pipe模式導入數據。

基于上述協議的學習和理解，我們只需要將mysql中的數據按照既定的協議通過pipe模式導入Redis即可。

實際案例--從Mysql導入百萬級數據到Redis

首先造數據

由于環境限制，所以這里沒有用真實數據來實現導入，那么我們就先使用一個存儲過程來造一百萬條數據把。使用存儲過程如下：

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

       DECLARE i INT DEFAULT 1;
       WHILE i<= 1000000
           DO
           INSERT INTO t_book(id,number,NAME,descrition)
           VALUES (i, CONCAT("00000",i) , CONCAT('book',i)
           , CONCAT('book_description',i));    
           SET i=i+1;
       END WHILE ;
       COMMIT;
   END$$

DELIMITER ;

調用存儲過程：

CALL test_insert();

查看表數據：

按協議構造查詢語句

按照上述redis協議，我們使用如下sql來構造協議數據

SELECT
 CONCAT(
   "*4\r\n",
   "$",
   LENGTH(redis_cmd),
   "\r\n",
   redis_cmd,
   "\r\n",
   "$",
   LENGTH(redis_key),
   "\r\n",
   redis_key,
   "\r\n",
   "$",
   LENGTH(hkey),
   "\r\n",
   hkey,
   "\r\n",
   "$",
   LENGTH(hval),
   "\r\n",
   hval,
   "\r"
 )
FROM
 (SELECT
   "HSET" AS redis_cmd,
   id AS redis_key,
   NAME AS hkey,
   descrition AS hval
 FROM
   cb_mon.t_book
 ) AS t limit 1000000 

并將內容保存至redis.sql 文件中。

編寫腳本使用pipe模式導入redis

編寫shell腳本。由于我在主機上是通過docker安裝的redis和mysql，以下腳本供參考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 899fe01d4dbc mysql --default-character-set=utf8   

--skip-column-names --raw < ./redis.sql
| docker exec -i 4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo "腳本執行耗時： "$((end_seconds-start_seconds))"s"

執行截圖：

可以看到百萬級的數據導入redis，只花費了7秒，效率非常高。

注意事項

如果mysql表特別大，可以考慮分批導入，或者將表拆分，否則在導入過程中可能會發生

lost connection to mysql server during query

由于max_allowed_packed和超時時間限制，查詢數據的過程中，可能會造成連接斷開，所以在數據表的數據量特別大的時候，需要分頁或者將表拆分導入。

小結

1. redis單線程執行命令，避免了線程切換所消耗的時間，但是在超大數據量級下，其發送、響應接收的時延不可忽視。

2. 網絡nc命令的應用場景，及在數據導入時存在的缺點。

3. redis RESP協議的理解和應用。

4. 百萬量級Mysql數據的Redis快速導入案例。

看完上述內容，你們掌握如何高效的在Mysql百萬級數據量級下遷移到Redis的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注創新互聯行業資訊頻道，感謝各位的閱讀！

網站題目：如何高效的在Mysql百萬級數據量級下遷移到Redis
文章起源：http://vcdvsql.cn/article4/pehgie.html

成都網站建設公司_創新互聯，為您提供手機網站建設、移動網站建設、、企業建站、域名注冊、動態網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯