簡介mysql之mysql語句執行流程

1.一條查詢語句如何執行？

成都創新互聯主要從事網頁設計、PC網站建設（電腦版網站建設）、wap網站建設（手機版網站建設）、響應式網站、程序開發、網站優化、微網站、小程序開發等，憑借多年來在互聯網的打拼，我們在互聯網網站建設行業積累了豐富的成都網站建設、做網站、網站設計、網絡營銷經驗，集策劃、開發、設計、營銷、管理等多方位專業化運作于一體。

2.一條更新語句如何執行？

3.innodb的redolog是什么？

4.什么是寫緩沖

5.寫緩沖一定好嗎？

6.什么情況會引發刷臟頁

關于一條mysql查詢語句在mysql中的執行流程

如select name from test where id=10;

1.連接器---先與mysql服務端連接器建立連接，若查詢緩存命中則直接返回 （查詢緩存的弊端：查詢緩存的失效非常頻繁，只要有對一個表的更新，這個表上所有的查詢緩存都會被清空。）

2.分析器---詞法分析告訴服務端你要干什么（我要找 test表中id為10的名字） ( 其中sql語法錯誤在這塊暴露 )

3.優化器---服務端會思考該怎么執行最優(索引的選擇)

4.執行器---檢查用戶對庫對表的權限

5.存儲引擎--存儲數據，提供讀寫接口

以update a set name=1 where id=1;

主要區別在于在查詢到數據之后(select name from a where id=1)，如果是innodb引擎它會進行日志的兩階段提交:

1.開啟事務，寫入redolog（innodb引擎特有），并更新內存

3.寫入binlog，提交事務，commit

我們知道mysql數據存儲包含內存與磁盤兩個部分，innodb是按數據頁(通常為16k)從磁盤讀取到內存中的(剩余操作在內存中執行)，當要更新數據時，若目標數據的數據頁剛好在內存中，則直接更新。不在呢？

將這個更新操作(也可能是插入) 緩存在change buffer中 (redolog也會記錄這個change buffer操作)等到下一次查詢要用到這些數據時，再執行這些操作，改變數據(稱為合并操作記錄稱為merge)。

innodb_change_buffer_max_size

innodb_change_buffering

先介紹兩個概念

因為redolog是環形日志，當redolog寫滿時，就需要“擦掉”開頭的一部分數據來達到循環寫，這里的擦掉指，指將redolog日志的checkpoint位置從 CP推進到CP‘ ，同時將兩點之間的臟頁刷到磁盤上(flush操作)，此時系統要停止所有的更新操作（防止更新操作丟失）

1.系統內存不足。當要讀取新的內存頁時就要淘汰一些數據頁，如果淘汰的正好是臟頁，就要執行一次flush操作

2.Mysql認為系統處于“空閑狀態”

3.正常關閉Mysql

上述后兩者場景(系統空閑和正常關閉)對于性能都沒太大影響。

當為第一種redolog寫滿時，系統無法執行更新操作，所有操作都會堵塞

當為第二種內存不夠用時，如果淘汰臟頁太多，影響mysql響應時間

后兩者刷臟頁會影響性能，所以Mysql需要有刷臟頁控制策略，可以從以下幾個設置項考慮

1.設置innodb_io_capacity告訴innodb所在主機的IO能力

如何利用ClickHouse高速匯總查詢MySQL數據

直連到MySQL的功能現在已被添加到ClickHouse中。所以可以直接從ClickHouse查詢MySQL表中的數據。

ClickHouse是一個超高性能的海量數據快速查詢的分布式實時處理平臺，在數據匯總查詢方面(如GROUP BY)，ClickHouse的查詢更快，因此通常情況下在MySQL上進行聚合。

下面是在自己的虛擬環境中做的測試記錄。既然是虛擬環境非生產環境，請看參考應用級別，而不是嚴格的測試。

正確準備和測試大約1000萬個數據項。

執行腳本以創建樣本數據。這是約500 MB。

在MySQL中創建一個表并導入它。

由于似乎字符串數據比數字值更容易匯總，所以內容是數字的，但它們是可變的類型。

然后執行計算操作。

用BLOB類型做GROUPBY似乎很慢。

您可以在ClickHouse上使用MySQL數據，只需在下面的表格中指定它，而不是表名。

啟動ClickHouse客戶端并進行測試。

如果您在啟動時不添加--multiline選項，則不會放置多行查詢，因此請繼續。

SELECT?

data1,?

COUNT(*)

FROM mysql('localhost','mikage','testdata','mikage','')?

GROUP BY data1

┌─data1─┬─COUNT()─┐

│? ? 4│1999013│

│? ? 3│1998988│

│? ? 2│1999993│

│? ? 5│2001553│

│? ? 1│2000453│

└───────┴─────────┘

5 rows in set. Elapsed: 2.685 sec. Processed 10.00 million rows,40.00 MB(3.72 million rows/s.,14.90 MB/s.)?

SELECT?

data2,?

COUNT(*)

FROM mysql('localhost','mikage','testdata','mikage','')?

GROUP BY data2

┌─data2─┬─COUNT()─┐

│6? ? │? 999786│

│8? ? │1001805│

│9? ? │1001438│

│3? ? │1000357│

│2? ? │1000648│

│4? ? │? 998349│

│5? ? │? 998889│

│10? ? │? 999424│

│1? ? │1000530│

│7? ? │? 998774│

└───────┴─────────┘

10 rows in set. Elapsed: 2.692 sec. Processed 10.00 million rows,101.00 MB(3.71 million rows/s.,37.52 MB/s.)?

SELECT?

data3,?

COUNT(*)

FROM mysql('localhost','mikage','testdata','mikage','')?

GROUP BY data3

-- 結果省略

100000 rows in set. Elapsed: 5.236 sec. Processed 10.00 million rows,138.89 MB(1.91 million rows/s.,26.52 MB/s.)?

SELECT?

data1,?

uniqExact(data5)

FROM mysql('localhost','mikage','testdata','mikage','')?

GROUP BY data1

┌─data1─┬─uniqExact(data5)─┐

│? ? 4│? ? ? ? ? 1811674│

│? ? 3│? ? ? ? ? 1812072│

│? ? 2│? ? ? ? ? 1812503│

│? ? 5│? ? ? ? ? 1814106│

│? ? 1│? ? ? ? ? 1813005│

└───────┴──────────────────┘

5 rows in set. Elapsed: 12.944 sec. Processed 10.00 million rows,198.89 MB(772.55 thousand rows/s.,15.37 MB/s.)?

-- ClickHouse有一個函數來粗略計算一個唯一的數字，所以讓我們來計算一下。

在MySQL中，相當耗時的查詢也可以在很短的時間內處理。

重復統計時，最好將數據復制到ClickHouse一次。

如果您復制它，后續查詢將更快。

建議暫時使用StripeLog引擎。

如果您有一個主鍵，您可能還想要使用MergeTree表。這是在ClickHouse中最常用的引擎。

有必要用ORDER BY指定數據的排序順序（即使有重復也沒有問題）。

我會嘗試以前的查詢。以下是StripeLog引擎的測試結果。

測試耗時總結如下:

我認為這個錯誤很大，因為它在VM環境下僅測試了一次

從左邊開始為，(1)MySQL中的時間 (2) ClickHouse從MySQL讀取和處理數據的時間 (3) 在ClickHouse上處理復制數據的時間。

執行查詢 MySQL處理時間 (秒) MySQL-ClickHouse處理時間 (秒) ClickHouse處理時間 (秒)

groupby(data1) 3.22 2.685 0.071

groupby(data2) 4.01 2.692 0.177

groupby(data3) 212.82 5.236 0.779

groupby(data1)+uniq(data5) 183.56 12.944 1.725

groupby(data1)+uniq(data5)概算 (無此功能) 6.026 0.285

當引用MySQL數據時，如果沒有對應于ClickHouse的類型，它似乎是String類型。

沒有相應的類型如Decimal類型，所以它也是String類型。

如果你想把它作為一個數值，精度將會改變，但是似乎有必要在MySQL端保持Double類型。

而且，Date和DateTime類型在MySQL和ClickHouse之間的范圍也是不同的。

ClickHouse日期類型是1970 - 2038年之間。

如果有超出范圍的數據，可能需要使其成為字符串類型，按年份，月份，日期分列，并將其作為數值復制。

參照源碼如下：

MySQL類型 ClickHouse 類型 參考

tinyint????UInt8 / Int8

smallint????UInt16 / Int16

int / mediumint????UInt32 / Int32

bigint????UInt64 / Int64

float????Float32

double????Float64

dateDate????有可以表達的范圍差異

datetime????DateTime有可以表達的范圍差異

timestamp????DateTime

binaryFixed????String

除上述以外? ? String

MySql中Sql的執行過程

如果查詢緩存沒有命中，那么SQL請求會進入分析器，分析器是用來分辨SQL語句的執行目的，其執行過程大致分為兩步：

表1 語法分析關鍵字然后再通過語法規則解析，判斷輸入的SQL 語句是否滿足MySQL語法，并且生成圖5的語法樹。由SQL語句生成的四個單詞中，識別出兩個關鍵字，分別是select 和from。根據MySQL的語法Select 和 from之間對應的是fields 字段，下面應該掛接username；在from后面跟隨的是Tables字段，其下掛接的是userinfo。

優化器的作用是對SQL進行優化，生成最有的執行方案。如圖6所示，前面提到的SQL解析器通過語法分析和語法規則生成了SQL語法樹。這個語法樹作為優化器的輸入，而優化器（黃色的部分）包含了邏輯變換和代價優化兩部分的內容。在優化完成以后會生成SQL執行計劃作為整個優化過程的輸出，交給執行器在存儲引擎上執行。

所處的位置如上圖所示，這節的重點在優化器中的邏輯變換和代價優化上。

邏輯變換也就是在關系代數基礎上進行變換，其目的是為了化簡，同時保證SQL變化前后的結果一致，也就是邏輯變化并不會帶來結果集的變化。其主要包括以下幾個方面：

這樣講概念或許有些抽象，通過圖7 來看看邏輯變化如何在SQL中執行的吧。

如圖7所示，從上往下共有4個步驟：

1. 針對存在的SQL語句，首先通過“否定消除”，去掉條件判斷中的“NOT”。語句由原來的“or”轉換成“and”，并且大于小于符號進行變號。藍色部分為修改前的SQL，紅色是修改以后的SQL。2. 等值傳遞，這一步很好理解分別降”t2.a=9” 和”t2.b=5”分別替換掉SQL中對應的值。3. 接下來就是常量表達式計算，將“5+7”計算得到“12”。4. 最后是常量表達式計算后的化簡，將”9=10”化簡為”true”帶入到最終的SQL表達式中完成優化。

代價優化是用來確定每個表，根據條件是否應用索引，應用哪個索引和確定多表連接的順序等問題。為了完成代價優化，需要找到一個代價最小的方案。因此，優化器是通過基于代價的計算方法來決定如何執行查詢的（Cost-based Optimization）。簡化的過程如下：

這里將配置操作的代價分為MySQL 服務層和MySQL 引擎層，MySQL 服務層主要是定義CPU的代價，而MySQL 引擎層主要定義IO代價。MySQL 5.7 引入了兩個系統表mysql.server_cost和mysql.engine_cost來分別配置這兩個層的代價。如下：MySQL 服務層代價保存在表server_cost中，其具體內容如下：

由上可以看出創建臨時表的代價是很高的，尤其是內部的myisam或innodb臨時表。MySQL 引擎層代價保存在表engine_cost中，其具體內容如下：

目前io_block_read_cost和memory_block_read_cost默認值均為1，實際生產中建議酌情調大memory_block_read_cost，特別是對普通硬盤的場景。MySQL會根據SQL查詢生成的查詢計劃中對應的操作從上面兩張代價表中查找對應的代價值，并且進行累加形成最終執行SQL計劃的代價。再將多種可能的執行計劃進行比較，選取最小代價的計劃執行。

當分析器生成查詢計劃，并且經過優化器以后，就到了執行器。執行器會選擇執行計劃開始執行，但在執行之前會校驗請求用戶是否擁有查詢的權限，如果沒有權限，就會返回錯誤信息，否則將會去調用MySQL引擎層的接口，執行對應的SQL語句并且返回結果。例如SQL：“SELECT * FROM userinfo WHERE username = 'Tom';“假設 “username“ 字段沒有設置索引，就會調用存儲引擎從第一條開始查，如果碰到了用戶名字是” Tom“， 就將結果集返回，沒有查找到就查看下一行，重復上一步的操作，直到讀完整個表或者找到對應的記錄。需要注意SQL語句的執行順序并不是按照書寫順序來的，順序的定義會在分析器中做好，一般是按照如下順序：

如果命中的記錄比較多，應用會從MySql Server一批批獲取數據

本文從MySQL中SQL語句的執行過程作為切入點，首先介紹了查詢請求的執行流程，其中將MySQL的處理分為MySQL Server層和MySQL存儲引擎層。通過介紹SQL語句的流轉，引出了后面要介紹的5大組件，他們分別是：連接器、查詢緩存、分析器、優化器、執行器。后面的內容中對每個組件進行了詳細的介紹。連接器，負責身份認證和權限鑒別；查詢緩存，將查詢的結果集進行緩存，提高查詢效率；分析器，對SQL語句執行語法分析和語法規則，生成語法樹和執行計劃；優化器，包括邏輯變換和代價優化；執行器，在檢查用戶權限以后對數據進行逐條查詢，整個過程遵守SQL語句的執行順序。

關于php操作mysql執行數據庫查詢的一些常用操作匯總

php操作mysql步驟：

1.$connect=mysql_connect('localhost','root','123456')

or

die('數據庫連接失敗。'mysql_error());鏈接mysql。

2.mysql_select_db('database',$connect)選擇鏈接的數據庫。

3.mysql_query('Set

names

gb2312');$sql

=

"select

*

from

blog_article";準備要查詢的數據。

4.$datas

=

mysql_query($sql);執行sql查詢。

5.$data

=

mysql_fetch_assoc($datas)得到查詢到的緩存在內存中的一條數據。

6.print_r($data);

相同點：三個函數都是返回數據庫中查詢到的一行數據（說的再清楚點就是一條數據）。

不同點：mysql_fetch_assoc()用的是數據庫中相應的字段名作為的key值（也就是數組下標）

如：filed['id']=1;

mysql_fetch_row()用的是自動生成的數字（從0開始依次生成）作為的key值（也就是數組下標）

如：filed[0]=1;

mysql_fetch_array()用的是自動生成的數字（從0開始依次生成）作為的key值（也就是數組下標）,而且它還同時生成數據庫中相應的字段名作為的key值（也就是數組下標）

如：

filed[0]=1，filed['id']=1;也就是說，mysql_fetch_array()將mysql_fetch_assoc()和mysql_fetch_row()查詢到的結果合為了一體了。

mysql_fetch_object()與mysql_fetch_assoc()差不多。只是mysql_fetch_assoc()返回的是數組。mysql_fetch_object()返回的是object對象。

mysql_insert_id() 取得上一步

INSERT

操作產生的

ID。

mysql_result()

函數返回結果集中一個字段的值。

mysql_num_fields()

函數返回結果集中字段的數目。

mysql_affected_rows();返回前一次

MySQL

操作所影響的記錄行數。

mysql_num_rows(mysql_query($sql))獲得結果集中行的數目。

mysql_pconnect()

函數打開一個到

MySQL

服務器的持久連接。

mysql_pconnect()

和

mysql_connect()

非常相似，但有兩個主要區別：

1.

當連接的時候本函數將先嘗試尋找一個在同一個主機上用同樣的用戶名和密碼已經打開的（持久）連接，如果找到，則返回此連接標識而不打開新連接。

2.

其次，當腳本執行完畢后到

SQL

服務器的連接不會被關閉，此連接將保持打開以備以后使用（mysql_close()

不會關閉由

mysql_pconnect()

建立的連接）。

mysql_data_seek(mysql_query($sql),8);獲得結果集中的第8條數據。（mysql_num_rows(mysql_query($sql))和mysql_data_seek(mysql_query($sql),8)在mysql_unbuffered_query($sql)不可以使用。）

mysql_unbuffered_query($sql)和mysql_query($sql)效果差不多，但是

mysql_unbuffered_query($sql)不緩存。mysql_query($sql)會緩存查詢的結果。

mysql_close();關閉mysql的最近的鏈接。

mysql_field_flags(mysql_query($sql),6)返回第六個字段的表屬性輸出如：not_null

primary_key

auto_increment

。

mysql_fetch_lengths(mysql_query($sql))返回該條數據的所有字段的每個字段的長度。返回的是一個數字組成的數組。

mysql_field_name(mysql_query($sql),3)返回第三個字段的字段名。

mysql_field_table(mysql_query($sql),0)返回指定字段所在的表名。

mysql_free_result(mysql_query($sql))

函數釋放結果內存。

mysql_get_client_info()

函數返回

MySQL

客戶端信息。

mysql_get_host_info()

取得

MySQL

主機信息。

如何查詢mysql的執行記錄

-- 打開sql 執行記錄功能

set global log_output='TABLE'; -- 輸出到表

set global log=ON; -- 打開所有命令

執行記錄功能general_log, 所有語句: 成功和未成功的.

set global log_slow_queries=ON; -- 打開慢查詢 sql 記錄

slow_log, 執行成功的: 慢查詢語句和未使用索引的語句

set global long_query_time=0.1; -- 慢查詢時間限制(秒)

set global log_queries_not_using_indexes=ON; -- 記錄未使用索引的sql 語句

-- 查詢sql 執行記錄

select * from mysql.slow_log order by 1; -- 執行成功的：慢查詢語句,和未

使用索引的語句

select * from mysql.general_log order by 1; -- 所有語句： 成功和未成功的.-- 關閉sql 執行記錄

分享標題：mysql怎么執行查詢 mysql執行查詢sql語句
文章分享：http://vcdvsql.cn/article8/hehdop.html

成都網站建設公司_創新互聯，為您提供App開發、網站設計、微信公眾號、靜態網站、小程序開發、網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯