下文主要給大家?guī)鞵HP+MySQL批量數(shù)據(jù)實現(xiàn)導(dǎo)入導(dǎo)出方法,希望這些內(nèi)容能夠帶給大家實際用處,這也是我編輯PHP+MySQL批量數(shù)據(jù)實現(xiàn)導(dǎo)入導(dǎo)出方法這篇文章的主要目的。好了,廢話不多說,大家直接看下文吧。
創(chuàng)新互聯(lián)公司是一家專注于成都做網(wǎng)站、成都網(wǎng)站設(shè)計與策劃設(shè)計,巴楚網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:巴楚等地區(qū)。巴楚做網(wǎng)站價格咨詢:028-86922220PHP腳本的處理
1、腳本的思路就是:查詢特定賬號數(shù)據(jù),組裝拼接成sql文本數(shù)據(jù)。這里要注意,對查詢的值要進(jìn)行過濾處理,因為有些字段是包含一些非法字符,比如:’(單引號),”(雙引號),`(鍵盤左上角第二個),這些符號在拼接sql語句時,會因為找不到閉合的另一端,讓值變了,導(dǎo)致sql語句拼接有問題,所以這部分字符要替換掉,我是用str_replace()函數(shù)將這些符號置為空。
2、我是使用is_numeri函數(shù)判斷值是否是數(shù)字類型結(jié)構(gòu),是的話就加""(雙引號),但是is_numeri有個問題,遇到有些數(shù)值有e字母的,它也是返回true,
實錘了這樣是有問題的,因為這樣值沒加""是不能insert到MySQL中的。
后來我同時加上is_float(),is_string()函數(shù)同時來判斷這個值是否需要加入雙引號。
3、由于導(dǎo)出的數(shù)據(jù)量比較多,我是分了4個PHP進(jìn)程來跑,一個進(jìn)程跑一萬個用戶數(shù)據(jù),這樣能夠節(jié)省很多時間。但是要注意的是,存儲的sql文本也是需要進(jìn)行區(qū)分的,因為多個進(jìn)程同時寫一個文本文件可能會出現(xiàn)數(shù)據(jù)丟失(我是后面才發(fā)現(xiàn),花了好多時間補回去數(shù)據(jù))。
4、使用tar -xcvf 命令對sql文件進(jìn)行壓縮打包,一個7G的文件,可以壓縮到700多M,壓縮效果還是不錯的。PHP視頻教程
導(dǎo)入數(shù)據(jù)到MySQL
1、由于數(shù)據(jù)量比較大,我也是分了幾個進(jìn)程跑數(shù)據(jù)。使用的是MySQL source 命令來導(dǎo)入這些大的sql文件
mysql>source D:/www/sql/data.sql;
sql文件里面包含了use 數(shù)據(jù)庫,這里就不需要use 數(shù)據(jù)庫了。
通過source命令導(dǎo)入多個文件,可以新建一個sou.sql文件,里面存放下面的命令
例如:
source c:/1.sql; source c:/2.sql;
這樣就可以在一個source命令里面導(dǎo)入多個sql文件了。
期間也有一些問題:
出現(xiàn):
mysql Got a packet bigger than 'max_allowed_packet' bytes
查了下,是因為單表數(shù)據(jù)量較大,大體定位到mysql會對單表數(shù)據(jù)量較大的SQL做限制
解決:
更改max_allowed_packet包大小
方案一,臨時修改:輸入命令 set global max_allowed_packet = 大小; (注意,這里的大小只能填寫字節(jié)。重啟mysql服務(wù)后,配置將會失效!)
方案二,修改my.ini文件,在[mysqld]部分加入 max_allowed_packet=大小
2、由于source命令這種方式不能記錄定位記錄到錯誤信息,所以后來我改用了linux shell方式導(dǎo)入
如下:sql.sh
#!/bin/bash p="d:backup/sql.sql" //絕對路徑 User='abc' Password='123' mysql -u $User -p$Password -e "source $f" 2>err1.txt;//輸出錯誤到文件中,方便后面查詢 echo 'OK!'
這樣導(dǎo)入,可以找到一些錯誤的提示,方便后面解決問題。
對于以上關(guān)于PHP+MySQL批量數(shù)據(jù)實現(xiàn)導(dǎo)入導(dǎo)出方法,大家是不是覺得非常有幫助。如果需要了解更多內(nèi)容,請繼續(xù)關(guān)注我們的行業(yè)資訊,相信你會喜歡上這些內(nèi)容的。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章題目:PHP+MySQL批量數(shù)據(jù)實現(xiàn)導(dǎo)入導(dǎo)出方法-創(chuàng)新互聯(lián)
網(wǎng)站鏈接:http://vcdvsql.cn/article24/jgdje.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站改版、移動網(wǎng)站建設(shè)、商城網(wǎng)站、定制開發(fā)、自適應(yīng)網(wǎng)站、網(wǎng)站導(dǎo)航
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容