Pandas實現常用SQL操作

本文是寫給有 SQL 基礎，而對于 pandas 的 API 不夠熟悉的同學的。將各種常見的 SQL 操作“翻譯”成 pandas 的形式，從而便于數據處理。

成都創新互聯公司成立與2013年，是專業互聯網技術服務公司，擁有項目做網站、成都網站建設網站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元松原做網站,已為上家服務,為松原各地企業和個人服務,聯系電話:18982081108

首先建立兩個表，年齡國籍表和性別表，兩者可以通過 name 字段進行關聯。

t1 數據如下：

t2 數據如下：

用 SQL 來實現是：

而在 pandas 中，join 被稱為 merge。其中 on 表示兩個表用于關聯的鍵。how 表示 join 的方式，支持 {‘left’, ‘right’, ‘outer’, ‘inner’} 四個選項，分別對應 SQL 的 left join、right join、outer join、inner join。

能匹配到 name 的就會補充上 gender，Kim 在性別表差不到數據，因此填充來一個 NaN 表示空值。

遇到兩個表需要關聯的字段不同名，在 SQL 中只需要修改 on 后面的條件即可。

假如把 t1 的 name 換一個名字，那么就不能直接用 on='name' 來進行關聯了。先使用 rename 方法更改列名，然后再次左聯。

輸出：

新增一個年齡表：

表內容：

如果不對 age 兩個同名字段進行處理，pandas 會自動添加后綴，一個是 _x，另一個是 _y：

如果想要自定義后綴，那么可以：

于是上表的 age_x 和 age_y 就變成 age_left 和 age_right 了。

pandas 的 join 和 SQL 的 join 不太一樣。默認行為是直接根據 index 進行關聯。你可以理解為直接把兩個表左右拼接在一起。

可以看到是直接根據 index 序號進行左右拼接。

如果存在名字相同的列則需要指明后綴，否則會報 ValueError。

將兩個表上下拼接起來的操作。

結果如下：

注意，該操作不會做任何去重，只是單純的拼接而已。

例如要求男性和女性兩組的平均年齡。先關聯 t1 和 t2 然后 group by 即可：

如果用 SQL 實現：

同時查看最小值和最大值：

其中 ['age'] 表示只輸出 age 字段。agg 表示聚合，對于內置函數需要用引號，這里分別計算兩個組的最小值和最大值。

SQL版本：

這里是體現 Python 比 SQL 強大的地方了。你可以寫自定義的聚合函數。比如我要計算每組的奇數個數。注意，由于是聚合函數，因此傳入的參數是 Series 對象，即一列數據，因此要用對應的方法。用數學語言來說，這里處理的是向量，而不是標量。

s % 2 是對輸入的向量的每一個元素進行除2求余數，然后用內置聚合函數 sum 加總，由于奇數的余數是1，而偶數的余數是0，因此這個求和數就是奇數的個數。傳參到 agg 方法只需要把 is_odd 函數放入列表即可，由于不是內置函數，因此不需要加引號。

暫時寫到這里，后面如果用到其他地方再繼續補充。

python sql 定義函數，調用后出錯

要看你的數據庫里存的是什么格式的，如果是unicode的話：

sql="select * from t.branch where name='河南'".decode('utf8')

如果是gb系列編碼的話:

sql="select * from t.branch where name='河南'".decode('utf8').encode('gb18030')

如何用python寫sql

python可以利用pymysql模塊操作數據庫。

什么是 PyMySQL？

PyMySQL 是在 Python3.x 版本中用于連接 MySQL 服務器的一個庫，Python2中則使用mysqldb。

PyMySQL 遵循 Python 數據庫 API v2.0 規范，并包含了 pure-Python MySQL 客戶端庫。

PyMySQL 安裝

在使用 PyMySQL 之前，我們需要確保 PyMySQL 已安裝。

PyMySQL 下載地址：。

如果還未安裝，我們可以使用以下命令安裝最新版的 PyMySQL：

$ pip3 install PyMySQL

如果你的系統不支持 pip 命令，可以使用以下方式安裝：

1、使用 git 命令下載安裝包安裝(你也可以手動下載)：

$ git clone cd PyMySQL/$ python3 setup.py install

2、如果需要制定版本號，可以使用 curl 命令來安裝：

$ # X.X 為 PyMySQL 的版本號$ curl -L | tar xz$ cd PyMySQL*$ python3 setup.py install

$ # 現在你可以刪除 PyMySQL* 目錄

注意：請確保您有root權限來安裝上述模塊。

安裝的過程中可能會出現"ImportError: No module named setuptools"的錯誤提示，意思是你沒有安裝setuptools，你可以訪問?找到各個系統的安裝方法。

Linux 系統安裝實例：

$ wget python3 ez_setup.py

數據庫連接

連接數據庫前，請先確認以下事項：

您已經創建了數據庫 TESTDB.

在TESTDB數據庫中您已經創建了表 EMPLOYEE

EMPLOYEE表字段為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。

連接數據庫TESTDB使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql數據庫用戶授權請使用Grant命令。

在你的機子上已經安裝了 Python MySQLdb 模塊。

如果您對sql語句不熟悉，可以訪問我們的?SQL基礎教程

實例：

以下實例鏈接 Mysql 的 TESTDB 數據庫：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()

# 使用 execute() ?方法執行 SQL 查詢 cursor.execute("SELECT VERSION()")

# 使用 fetchone() 方法獲取單條數據.data = cursor.fetchone()

print ("Database version : %s " % data)

# 關閉數據庫連接db.close()

執行以上腳本輸出結果如下：

Database version : 5.5.20-log

創建數據庫表

如果數據庫連接存在我們可以使用execute()方法來為數據庫創建表，如下所示創建表EMPLOYEE：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()

# 使用 execute() 方法執行 SQL，如果表存在則刪除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")

# 使用預處理語句創建表sql = """CREATE TABLE EMPLOYEE (

? ? FIRST_NAME ?CHAR(20) NOT NULL,

? ? LAST_NAME ?CHAR(20),

? ? AGE INT, ?

? ? SEX CHAR(1),

? ? INCOME FLOAT )"""

cursor.execute(sql)

# 關閉數據庫連接db.close()

數據庫插入操作

以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標 cursor = db.cursor()

# SQL 插入語句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,

? ? LAST_NAME, AGE, SEX, INCOME)

? ? VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: ? # 執行sql語句

cursor.execute(sql)

# 提交到數據庫執行

db.commit()except: ? # 如果發生錯誤則回滾

db.rollback()

# 關閉數據庫連接db.close()

以上例子也可以寫成如下形式：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標 cursor = db.cursor()

# SQL 插入語句sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \

? LAST_NAME, AGE, SEX, INCOME) \

? VALUES ('%s', '%s', ?%s, ?'%s', ?%s)" % \ ? ? ? ('Mac', 'Mohan', 20, 'M', 2000)try: ? # 執行sql語句

cursor.execute(sql)

# 執行sql語句

db.commit()except: ? # 發生錯誤時回滾

db.rollback()

# 關閉數據庫連接db.close()

以下代碼使用變量向SQL語句中傳遞參數:

..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, ?%s)' % \ ? ? ? ? ? ? (user_id, password))..................................

數據庫查詢操作

Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。

fetchone():?該方法獲取下一個查詢結果集。結果集是一個對象

fetchall():?接收全部的返回結果行.

rowcount:?這是一個只讀屬性，并返回執行execute()方法后影響的行數。

實例：

查詢EMPLOYEE表中salary（工資）字段大于1000的所有數據：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標 cursor = db.cursor()

# SQL 查詢語句sql = "SELECT * FROM EMPLOYEE \

? WHERE INCOME %s" % (1000)try: ? # 執行SQL語句

cursor.execute(sql)

# 獲取所有記錄列表

results = cursor.fetchall()

for row in results: ? ? ?fname = row[0]

?lname = row[1]

?age = row[2]

?sex = row[3]

?income = row[4]

? # 打印結果

?print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \ ? ? ? ? ? ? (fname, lname, age, sex, income ))except: ? print ("Error: unable to fetch data")

# 關閉數據庫連接db.close()

以上腳本執行結果如下：

fname=Mac, lname=Mohan, age=20, sex=M, income=2000

數據庫更新操作

更新操作用于更新數據表的的數據，以下實例將 TESTDB 表中 SEX 為 'M' 的 AGE 字段遞增 1：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標 cursor = db.cursor()

# SQL 更新語句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: ? # 執行SQL語句

cursor.execute(sql)

# 提交到數據庫執行

db.commit()except: ? # 發生錯誤時回滾

db.rollback()

# 關閉數據庫連接db.close()

刪除操作

刪除操作用于刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大于 20 的所有數據：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數據庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標 cursor = db.cursor()

# SQL 刪除語句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try: ? # 執行SQL語句

cursor.execute(sql)

# 提交修改

db.commit()except: ? # 發生錯誤時回滾

db.rollback()

# 關閉連接db.close()

執行事務

事務機制可以確保數據一致性。

事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。

原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要么都做，要么都不做。

一致性（consistency）。事務必須是使數據庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。

隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對并發的其他事務是隔離的，并發執行的各個事務之間不能互相干擾。

持久性（durability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對數據庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。

Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。

實例

實例(Python 3.0+)

# SQL刪除記錄語句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try: ? # 執行SQL語句

cursor.execute(sql)

# 向數據庫提交

db.commit()except: ? # 發生錯誤時回滾

db.rollback()

對于支持事務的數據庫， 在Python數據庫編程中，當游標建立之時，就自動開始了一個隱形的數據庫事務。

commit()方法游標的所有更新操作，rollback（）方法回滾當前游標的所有操作。每一個方法都開始了一個新的事務。

錯誤處理

DB API中定義了一些數據庫操作的錯誤及異常，下表列出了這些錯誤和異常:

異常

描述

Warning ? ?當有嚴重警告時觸發，例如插入數據是被截斷等等。必須是 StandardError 的子類。 ?

Error ? ?警告以外所有其他錯誤類。必須是 StandardError 的子類。 ?

InterfaceError ? ?當有數據庫接口模塊本身的錯誤（而不是數據庫的錯誤）發生時觸發。 必須是Error的子類。 ?

DatabaseError ? ?和數據庫有關的錯誤發生時觸發。 必須是Error的子類。 ?

DataError ? ?當有數據處理時的錯誤發生時觸發，例如：除零錯誤，數據超范圍等等。 必須是DatabaseError的子類。 ?

OperationalError ? ?指非用戶控制的，而是操作數據庫時發生的錯誤。例如：連接意外斷開、 數據庫名未找到、事務處理失敗、內存分配錯誤等等操作數據庫是發生的錯誤。 必須是DatabaseError的子類。 ?

IntegrityError ? ?完整性相關的錯誤，例如外鍵檢查失敗等。必須是DatabaseError子類。 ?

InternalError ? ?數據庫的內部錯誤，例如游標（cursor）失效了、事務同步失敗等等。 必須是DatabaseError子類。 ?

ProgrammingError ? ?程序錯誤，例如數據表（table）沒找到或已存在、SQL語句語法錯誤、 參數數量錯誤等等。必須是DatabaseError的子類。 ?

NotSupportedError ? ?不支持錯誤，指使用了數據庫不支持的函數或API等。例如在連接對象上 使用.rollback()函數，然而數據庫并不支持事務或者事務已關閉。 必須是DatabaseError的子類。 ?

本文題目：python用sql函數的簡單介紹
分享鏈接：http://vcdvsql.cn/article24/hshije.html

成都網站建設公司_創新互聯，為您提供網站營銷、、手機網站建設、企業網站制作、云服務器、面包屑導航

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯