本篇文章為大家展示了PHP中利用Curl實現多線程的原理是什么,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
創新互聯公司專注于婺城網站建設服務及定制,我們擁有豐富的企業做網站經驗。 熱誠為您提供婺城營銷型網站建設,婺城網站制作、婺城網頁設計、婺城網站官網定制、成都小程序開發服務,打造婺城網絡公司原創品牌,更為您提供婺城網站排名全網營銷落地服務。步驟總結如下:
第一步:調用curl_multi_init
第二步:循環調用curl_multi_add_handle
這一步需要注意的是,curl_multi_add_handle的第二個參數是由curl_init而來的子handle。
第三步:持續調用curl_multi_exec
第四步:根據需要循環調用curl_multi_getcontent獲取結果
第五步:調用curl_multi_remove_handle,并為每個字handle調用curl_close
第六步:調用curl_multi_close
這里有PHP手冊上的例子:
復制代碼 代碼如下:
<?php
// 創建一對cURL資源
$ch2 = curl_init();
$ch3 = curl_init();
// 設置URL和相應的選項
curl_setopt($ch2, CURLOPT_URL, "/tupian/20230522/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
curl_setopt($ch3, CURLOPT_URL, "/tupian/20230522/search.php
curl_setopt($ch3, CURLOPT_HEADER, 0);
// 創建批處理cURL句柄
$mh = curl_multi_init();
// 增加2個句柄
curl_multi_add_handle($mh,$ch2);
curl_multi_add_handle($mh,$ch3);
$active = null;
// 執行批處理句柄
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
// 關閉全部句柄
curl_multi_remove_handle($mh, $ch2);
curl_multi_remove_handle($mh, $ch3);
curl_multi_close($mh);
?>
整個使用過程差不多就是這樣,但是,這個簡單代碼有個致命弱點,就是在do循環的那段,在整個url請求期間是個死循環,它會輕易導致CPU占用100%。
現在我們來改進它,這里要用到一個幾乎沒有任何文檔的函數curl_multi_select了,雖然C的curl庫對select有說明,但是,php里的接口和用法確與C中有不同。
把上面do的那段改成下面這樣:
復制代碼 代碼如下:
do {
$mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
因為$active要等全部url數據接受完畢才變成false,所以這里用到了curl_multi_exec的返回值判斷是否還有數據,當有數據的時候就不停調用curl_multi_exec,暫時沒有數據就進入select階段,新數據一來就可以被喚醒繼續執行。這里的好處就是CPU的無謂消耗沒有了。
另外:還有一些細節的地方可能有時候要遇到:
控制每一個請求的超時時間,在curl_multi_add_handle之前通過curl_setopt去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時了或者其他錯誤,在curl_multi_getcontent之前用:curl_error($conn[$i]);
本類的特點:
運行非常穩定。
設置一個并發就會始終以這個并發數進行工作,即使通過回調函數添加任務也不影響。
CPU占用極低,絕大部分CPU消耗在用戶的回調函數上。
內存利用率高,任務數量較多(15W個任務占用內存會超過256M)可以使用回調函數添加任務,個數自定。
能夠較大限度的占用帶寬。
鏈式任務,比如一個任務需要從多個不同的地址采集數據,可以通過回調一氣呵成。
能夠對CURL錯誤進行多次嘗試,次數自定(大并發一開始容易產生CURL錯誤,網絡狀況或對方服務器穩定性也有可能產生CURL錯誤)。
回調函數相當靈活,可以多種類型任務同時進行(比如下載文件,抓取網頁,分析404可以在一個PHP進程中同時進行)。
可以非常容易的定制任務類型,比如檢查404,獲取redirect的最后url等。
可以設置緩存,挑戰產品節操。
不足:
不能充分利用多核CPU(可以開多個進程解決,需要自己處理任務分割等邏輯)。
較大并發500(或512?),經過測試是CURL 內部限制,超過較大并發會導致總是返回失敗。
目前沒有斷點續傳功能。
目前任務是原子性的,不能對一個大文件分為幾部分分別開線程下載。
上述內容就是PHP中利用Curl實現多線程的原理是什么,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注創新互聯行業資訊頻道。
本文標題:PHP中利用Curl實現多線程的原理是什么-創新互聯
文章轉載:http://vcdvsql.cn/article16/dsohdg.html
成都網站建設公司_創新互聯,為您提供網站維護、小程序開發、關鍵詞優化、Google、網站設計公司、網站收錄
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯