PHP的curl()在抓取網頁的效率方面是比較高的,而且支持多線程,而file_get_contents()效率就要稍低些,當然,使用curl時需要開啟下curl擴展。
創新互聯建站專注為客戶提供全方位的互聯網綜合服務,包含不限于做網站、成都網站制作、沙灣網絡推廣、重慶小程序開發公司、沙灣網絡營銷、沙灣企業策劃、沙灣品牌公關、搜索引擎seo、人物專訪、企業宣傳片、企業代運營等,從售前售中售后,我們都將竭誠為您服務,您的肯定,是我們最大的嘉獎;創新互聯建站為所有大學生創業者提供沙灣建站搭建服務,24小時服務熱線:18982081108,官方網址:vcdvsql.cn
代碼實戰
先來看登錄部分的代碼:
//模擬登錄
function
login_post($url,
$cookie,
$post)
{
$curl
=
curl_init();//初始化curl模塊
curl_setopt($curl,
CURLOPT_URL,
$url);//登錄提交的地址
curl_setopt($curl,
CURLOPT_HEADER,
0);//是否顯示頭信息
curl_setopt($curl,
CURLOPT_RETURNTRANSFER,
0);//是否自動顯示返回的信息
curl_setopt($curl,
CURLOPT_COOKIEJAR,
$cookie);
//設置Cookie信息保存在指定的文件中
curl_setopt($curl,
CURLOPT_POST,
1);//post方式提交
curl_setopt($curl,
CURLOPT_POSTFIELDS,
http_build_query($post));//要提交的信息
curl_exec($curl);//執行cURL
curl_close($curl);//關閉cURL資源,并且釋放系統資源
}
函數login_post()首先初始化curl_init(),然后使用curl_setopt()設置相關選項信息,包括要提交的url地址,保存的cookie文件,post的數據(用戶名和密碼等信息),是否返回信息等等,然后curl_exec執行curl,最后curl_close()釋放資源。注意PHP自帶的http_build_query()可以將數組轉換成相連接的字符串。
接下來如果登錄成功后,我們要獲取登錄成功后的頁面信息。
//登錄成功后獲取數據
function
get_content($url,
$cookie)
{
$ch
=
curl_init();
curl_setopt($ch,
CURLOPT_URL,
$url);
curl_setopt($ch,
CURLOPT_HEADER,
0);
curl_setopt($ch,
CURLOPT_RETURNTRANSFER,
1);
curl_setopt($ch,
CURLOPT_COOKIEFILE,
$cookie);
//讀取cookie
$rs
=
curl_exec($ch);
//執行cURL抓取頁面內容
curl_close($ch);
return
$rs;
}
函數get_content()中也是先初始化curl,然后設置相關選項,執行curl,釋放資源。其中我們設置CURLOPT_RETURNTRANSFER為1即自動返回信息,而CURLOPT_COOKIEFILE可以讀取到登錄時保存的cookie信息,最后將頁面內容返回。
我們的最終目的是要獲取到模擬登錄后的信息,也就是只有正常登錄成功后才能獲取的有用信息。接下來我們以登錄開源中國的移動版為例,看看如何抓取到登錄成功后的信息。
//設置post的數據
$post
=
array
(
'email'
=
'oschina賬戶',
'pwd'
=
'oschina密碼',
'goto_page'
=
'/my',
'error_page'
=
'/login',
'save_login'
=
'1',
'submit'
=
'現在登錄'
);
//登錄地址
$url
=
"";
//設置cookie保存路徑
$cookie
=
dirname(__FILE__)
.
'/cookie_oschina.txt';
//登錄后要獲取信息的地址
$url2
=
"";
//模擬登錄
login_post($url,
$cookie,
$post);
//獲取登錄頁的信息
$content
=
get_content($url2,
$cookie);
//刪除cookie文件
@
unlink($cookie);
//匹配頁面信息
$preg
=
"/td
class='portrait'(.*)\/td/i";
preg_match_all($preg,
$content,
$arr);
$str
=
$arr[1][0];
//輸出內容
echo
$str;
使用總結
1、初始化curl;
2、使用curl_setopt設置目標url,和其他選項;
3、curl_exec,執行curl;
4、執行后,關閉curl;
5、輸出數據。
感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!
登陸后抓取所有的html代碼。
然后通過正則匹配html標簽來獲取自己需要的東西,最主要的是你獲取到html源碼后,想要什么不就是看你需求了嘛,正則有問題可以繼續問我。
curl基本特性
模擬瀏覽器傳輸數據
實現post/get方式傳輸
支持多種協議:HTTP、HTTPS、FTP上傳
支持cookie,用戶名/密碼的認證
使用curl完成請求的簡單步驟
初始化一個curl句柄
resource curl_init ([ string $url = NULL ] )
設置curl選項
bool curl_setopt ( resource $ch , int $option , mixed $value )
執行curl請求
mixed curl_exec ( resource $ch )
釋放curl資源
void curl_close ( resource $ch )
標題名稱:php模擬登錄獲取數據 PHP模擬登錄
當前鏈接:http://vcdvsql.cn/article4/hepioe.html
成都網站建設公司_創新互聯,為您提供、網站導航、定制網站、網頁設計公司、微信公眾號、靜態網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯