如何解決PHP查詢大量數(shù)據(jù)內(nèi)存耗盡的問題

這個(gè)問題在PHP的官方網(wǎng)站上叫緩沖查詢和非緩沖查詢(Buffered and Unbuffered queries)。PHP的查詢?nèi)笔∧Ｊ绞蔷彌_模式。也就是說，查詢數(shù)據(jù)結(jié)果會(huì)一次全部提取到內(nèi)存里供PHP程序處理。這樣給了PHP程序額外的功能，比如說，計(jì)算行數(shù)，將指針指向某一行等。更重要的是程序可以對數(shù)據(jù)集反復(fù)進(jìn)行二次查詢和過濾等操作。但這種緩沖查詢模式的缺陷就是消耗內(nèi)存，也就是用空間換速度。

專注于為中小企業(yè)提供網(wǎng)站設(shè)計(jì)、網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)肥城免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千余家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

相對的，另外一種PHP查詢模式是非緩沖查詢，數(shù)據(jù)庫服務(wù)器會(huì)一條一條的返回?cái)?shù)據(jù)，而不是一次全部返回，這樣的結(jié)果就是PHP程序消耗較少的內(nèi)存，但卻增加了數(shù)據(jù)庫服務(wù)器的壓力，因?yàn)閿?shù)據(jù)庫會(huì)一直等待PHP來取數(shù)據(jù)，一直到數(shù)據(jù)全部取完。

很顯然，緩沖查詢模式適用于小數(shù)據(jù)量查詢，而非緩沖查詢適應(yīng)于大數(shù)據(jù)量查詢。

PHP 用PHPExcel往數(shù)據(jù)庫導(dǎo)入大量數(shù)據(jù)

1、首先我們準(zhǔn)備一個(gè)含有數(shù)據(jù)的Excel表格，表頭和數(shù)據(jù)表中的表字段相對應(yīng)。

2、在ThinkPHP中引入PHPExcel類庫。

3、然后我們編寫導(dǎo)入的PHP代碼。

4、然后我們編寫導(dǎo)出的PHP代碼。

5、然后我們進(jìn)行導(dǎo)出測試發(fā)現(xiàn)可以導(dǎo)出即可。

php處理大量數(shù)據(jù)時(shí)，運(yùn)行到一定時(shí)間就中斷了，請問如何解決

php處理數(shù)據(jù)時(shí)會(huì)有一個(gè)等待時(shí)間，就是所說的超時(shí)時(shí)間，而且如果使用mysql的話，它也有一個(gè)超時(shí)時(shí)間，運(yùn)行一串代碼時(shí)間如果超過配置文件的時(shí)間，會(huì)被中斷不運(yùn)行。第一種你可以修改php配置文件timeout的運(yùn)行時(shí)間，第二你可以分批處理大量數(shù)據(jù)，注意是分批處理，就OK了。

在PHP中怎么解決大量數(shù)據(jù)處理的問題

mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中，這樣就會(huì)出現(xiàn)超內(nèi)存的現(xiàn)象，使用另外一個(gè)函數(shù)mysql_unbuffered_query可以解決這個(gè)問題，mysql_unbuffered_query不會(huì)緩存結(jié)果集，而是查詢出來數(shù)據(jù)后立馬對結(jié)果集進(jìn)行操作，也就是便查詢邊返回，這樣就不會(huì)出現(xiàn)超出內(nèi)存的現(xiàn)象，但是使用mysql_unbuffered_query的是時(shí)候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前，必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如：

使用緩存結(jié)果集的代碼：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

// 不使用緩存結(jié)果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用內(nèi)存大小：' . memory_get_usage() . "\n";

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用內(nèi)存大?。? . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

執(zhí)行時(shí)將會(huì)報(bào)超出內(nèi)存的錯(cuò)誤：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集，這時(shí)運(yùn)行該函數(shù)的結(jié)果如下：

最初占用內(nèi)存大?。?44808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用內(nèi)存大?。?45544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用內(nèi)存大?。?45544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用內(nèi)存大?。?45536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用內(nèi)存大?。?45536

可以看到，這時(shí)返回一條數(shù)據(jù)內(nèi)存占用非常的小，也就700多字節(jié)，這樣就不會(huì)出現(xiàn)超出內(nèi)存的錯(cuò)誤了。

php怎么導(dǎo)出大量數(shù)據(jù)的Excel

php導(dǎo)出大量數(shù)據(jù)Excel的具體操作步驟如下：

1、使用phpstudy搭建一個(gè)測試平臺(tái)，直接訪問數(shù)據(jù)庫。

2、下載的phpcms安裝包拷貝到IIS目錄，開通訪問，即可搭建成功。

3、登錄網(wǎng)站后臺(tái)，系統(tǒng)權(quán)限，文件目錄以及數(shù)據(jù)庫等功能，進(jìn)行管理。

4、在phpcms后臺(tái)，擴(kuò)展，數(shù)據(jù)庫工具，數(shù)據(jù)庫導(dǎo)出，程序池選擇phpcmsv9，開始備份數(shù)據(jù)。

5、打開IIS網(wǎng)站目錄，在D:\wwwroot\kmxy\wwwroot\caches\bakup\default文件夾，查看導(dǎo)出的數(shù)據(jù)庫文件。

6、登錄phpmyadmin，選擇數(shù)據(jù)庫導(dǎo)出，選擇Excel格式，即可導(dǎo)出。

分享題目：php并大量數(shù)據(jù) php大量數(shù)據(jù)處理慢
文章來源：http://vcdvsql.cn/article42/doodhec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈、網(wǎng)站建設(shè)、軟件開發(fā)、品牌網(wǎng)站設(shè)計(jì)、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)