如何做Mysql的自動分表

1.首先，開啟event功能。

創(chuàng)新互聯(lián)建站技術(shù)團隊十年來致力于為客戶提供成都做網(wǎng)站、網(wǎng)站制作、高端網(wǎng)站設(shè)計、成都全網(wǎng)營銷推廣、搜索引擎SEO優(yōu)化等服務(wù)。經(jīng)過多年發(fā)展，公司擁有經(jīng)驗豐富的技術(shù)團隊，先后服務(wù)、推廣了上千網(wǎng)站，包括各類中小企業(yè)、企事單位、高校等機構(gòu)單位。

SET GLOBAL event_scheduler = 1;

2.然后根據(jù)時間自動創(chuàng)建新表

淺談mysql數(shù)據(jù)庫分庫分表那些事-億級數(shù)據(jù)存儲方案

mysql分庫分表一般有如下場景

其中1，2相對較容易實現(xiàn),本文重點講講水平拆表和水平拆庫,以及基于mybatis插件方式實現(xiàn)水平拆分方案落地。

在 《聊一聊擴展字段設(shè)計》 一文中有講解到基于KV水平存儲擴展字段方案,這就是非常典型的可以水平分表的場景。主表和kv表是一對N關(guān)系,隨著主表數(shù)據(jù)量增長,KV表最大N倍線性增長。

這里我們以分KV表水平拆分為場景

對于kv擴展字段查詢,只會根據(jù)id + key 或者 id 為條件的方式查詢,所以這里我們可以按照id 分片即可

分512張表(實際場景具體分多少表還得根據(jù)字段增加的頻次而定)

分表后表名為kv_000 ~ kv_511

id % 512 = 1 .... 分到 kv_001,

id % 512 = 2 .... 分到 kv_002

依次類推!

水平分表相對比較容易,后面會講到基于mybatis插件實現(xiàn)方案

場景:以下我們基于博客文章表分庫場景來分析

目標(biāo):

表結(jié)構(gòu)如下(節(jié)選部分字段):

按照user_id sharding

假如分1024個庫,按照user_id % 1024 hash

user_id % 1024 = 1 分到db_001庫

user_id % 1024 = 2 分到db_002庫

依次類推

目前是2個節(jié)點,假如后期達到瓶頸,我們可以增加至4個節(jié)點

最多可以增加只1024個節(jié)點,性能線性增長

對于水平分表/分庫后,非shardingKey查詢首先得考慮到

基于mybatis分庫分表,一般常用的一種是基于spring AOP方式, 另外一種基于mybatis插件。其實兩種方式思路差不多。

為了比較直觀解決這個問題,我分別在Executor 和StatementHandler階段2個攔截器

實現(xiàn)動態(tài)數(shù)據(jù)源獲取接口

測試結(jié)果如下

由此可知,我們需要在Executor階段 切換數(shù)據(jù)源

對于分庫:

原始sql:

目標(biāo)sql:

其中定義了三個注解

@useMaster 是否強制讀主

@shardingBy 分片標(biāo)識

@DB 定義邏輯表名 庫名以及分片策略

1)編寫entity

Insert

select

以上順利實現(xiàn)mysql分庫,同樣的道理實現(xiàn)同時分庫分表也很容易實現(xiàn)。

此插件具體實現(xiàn)方案已開源:

目錄如下:

mysql分庫分表,首先得找到瓶頸在哪里(IO or CPU),是分庫還是分表,分多少？不能為了分庫分表而拆分。

原則上是盡量先垂直拆分 后 水平拆分。

以上基于mybatis插件分庫分表是一種實現(xiàn)思路,還有很多不完善的地方,

例如:

mysql怎么做merge分表

mysql merge分表操作

三個分表：

CREATE TABLE `test_1` (

id INT(11) NOT NULL DEFAULT '0',

email varchar(50) NOT NULL ,

PRIMARY KEY (`id`)

) ENGINE=MyISAM DEFAULT CHARSET=UTF8;

CREATE TABLE `test_2` (

id INT(11) NOT NULL DEFAULT '0',

email varchar(50) NOT NULL ,

PRIMARY KEY (`id`)

) ENGINE=MyISAM DEFAULT CHARSET=UTF8;

CREATE TABLE `test_3` (

id INT(11) NOT NULL DEFAULT '0',

email varchar(50) NOT NULL ,

PRIMARY KEY (`id`)

) ENGINE=MyISAM DEFAULT CHARSET=UTF8;

一個總表：

CREATE TABLE `test` (

`id` INT(11) NOT NULL DEFAULT '0'

email varchar(50) NOT NULL

key `i_id` (`id`),

) ENGINE=MRG_MyISAM UNION=(test_1,test_2,test_3) DEFAULT CHARSET=UTF8;

在總表test上面select *的話，會取出三個分表中的數(shù)據(jù)。

在插入數(shù)據(jù)的時候根據(jù)對象的hash code 取模運算，如果余數(shù)為 3 那么就插入 test_3 這個表中。

mysql數(shù)據(jù)庫要放1億條信息怎樣分表?

mysql數(shù)據(jù)庫對1億條數(shù)據(jù)的分表方法設(shè)計：

目前針對海量數(shù)據(jù)的優(yōu)化有兩種方法：

（1）垂直分割

優(yōu)勢：降低高并發(fā)情況下，對于表的鎖定。

不足：對于單表來說，隨著數(shù)據(jù)庫的記錄增多，讀寫壓力將進一步增大。

（2）水平分割

如果單表的IO壓力大，可以考慮用水平分割，其原理就是通過hash算法，將一張表分為N多頁，并通過一個新的表（總表），記錄著每個頁的的位置。

假如一個門戶網(wǎng)站，它的數(shù)據(jù)庫表已經(jīng)達到了1億條記錄，那么此時如果通過select去查詢，必定會效率低下（不做索引的前提下）。為了降低單表的讀寫IO壓力，通過水平分割，將這個表分成10個頁，同時生成一個總表，記錄各個頁的信息，那么假如我查詢一條id=100的記錄，它不再需要全表掃描，而是通過總表找到該記錄在哪個對應(yīng)的頁上，然后再去相應(yīng)的頁做檢索，這樣就降低了IO壓力。

當(dāng)前標(biāo)題：mysql怎么做分表 體檢抽血血管找不到
文章鏈接：http://vcdvsql.cn/article28/doisccp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、微信公眾號、標(biāo)簽優(yōu)化、網(wǎng)站設(shè)計、虛擬主機、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)