如何用爬蟲抓取京東商品評(píng)價(jià)

我之前就是用前嗅的采集軟件，數(shù)型采集過京東的商品評(píng)論，還是很好用的，不僅采集完了數(shù)據(jù)，還能在軟件里直接進(jìn)行數(shù)據(jù)挖掘和分類、統(tǒng)計(jì)、數(shù)據(jù)分析。

創(chuàng)新互聯(lián)公司是一家企業(yè)級(jí)云計(jì)算解決方案提供商,超15年IDC數(shù)據(jù)中心運(yùn)營(yíng)經(jīng)驗(yàn)。主營(yíng)GPU顯卡服務(wù)器，站群服務(wù)器，服務(wù)器托管雅安，海外高防服務(wù)器，服務(wù)器機(jī)柜，動(dòng)態(tài)撥號(hào)VPS，海外云手機(jī)，海外云服務(wù)器，海外服務(wù)器租用托管等。

這個(gè)ForeSpider軟件內(nèi)部集成了數(shù)據(jù)挖掘的功能，可以快速進(jìn)行聚類分類、統(tǒng)計(jì)分析等，采集結(jié)果入庫(kù)后就可以形成分析報(bào)表。

而且賣漏操作也挺簡(jiǎn)單的，幾個(gè)步驟就能采集了，采集完他直接存入軟件自帶的數(shù)據(jù)庫(kù)內(nèi)，導(dǎo)出excel文件。還是很方便的。

如果自己不想配置，前嗅可以配置采集模板，我就是直接在前嗅買的模中畢爛板。

建議你先去下載一個(gè)免費(fèi)版試一試，免費(fèi)版不限制功能，沒有到期時(shí)間。

希望對(duì)你的問題有幫助。

爬蟲小白求問python如何爬取天貓京東等網(wǎng)頁

大的原則上，在網(wǎng)上能公開訪問的可見野虧的數(shù)據(jù)資料都是頌雀有辦法爬取到的，天貓和京東上是有部分的訂單成交數(shù)據(jù)的，所以這些也是可以爬取的。某寶中的楚江數(shù)據(jù)，數(shù)據(jù)采集工頌櫻神作可以代寫爬蟲，也可以直接讓他們爬取數(shù)據(jù)，視頻，圖片，文字都可以。

如何爬取京東手機(jī)上萬的商品數(shù)據(jù)，這個(gè)神器可以幫你

Charles是一個(gè)網(wǎng)絡(luò)抓包工具，我們可以用它來做App的抓包分析，得到App運(yùn)行過程中發(fā)生的所有網(wǎng)絡(luò)請(qǐng)求和響應(yīng)內(nèi)容，這就和Web端瀏覽器的開發(fā)者工具Network部分看到的結(jié)果一致。

相比Fiddler來說，Charles的功能更強(qiáng)大，而且跨平臺(tái)支持更好。所以我們選用Charles作為主要的移動(dòng)端抓包工具，用于分析移動(dòng)App的數(shù)據(jù)包，輔助完成App數(shù)據(jù)抓碧檔取工作。

一、本節(jié)目標(biāo)

本節(jié)我們以京東App為例，通過Charles抓取App運(yùn)行過程中的網(wǎng)絡(luò)數(shù)據(jù)包，然后查看具體的Request和Response內(nèi)容，以此來了解Charles的用法。

二、準(zhǔn)備工作

請(qǐng)確保已經(jīng)正確安裝Charles并開啟了代理服務(wù)，手機(jī)和Charles處于同一個(gè)局域網(wǎng)下，Charles代理和CharlesCA證書設(shè)置好。

三、原理

首先Charles運(yùn)行在自己的PC上，Charles運(yùn)行的時(shí)候會(huì)在PC的8888端口開啟一個(gè)代理服務(wù)，這個(gè)服務(wù)實(shí)際上是一個(gè)HTTP/HTTPS的代理。

確保手機(jī)和PC在同一個(gè)局域網(wǎng)內(nèi)，我們可以使用手機(jī)模擬器通過虛擬網(wǎng)絡(luò)連接，也可以使用手機(jī)真機(jī)和PC通過無線網(wǎng)絡(luò)連接。

設(shè)置手機(jī)代理為Charles的代理地址，這樣手機(jī)訪問互聯(lián)網(wǎng)的數(shù)據(jù)包就會(huì)流經(jīng)Charles，Charles再轉(zhuǎn)發(fā)這些數(shù)據(jù)包到真實(shí)的服務(wù)器，服務(wù)器返回的數(shù)據(jù)包再由Charles轉(zhuǎn)發(fā)回手機(jī)，Charles就起到中間人的作用，所有流量包都可以捕捉到，因此所有HTTP請(qǐng)求和響應(yīng)都可以捕獲到。同時(shí)Charles還有權(quán)力對(duì)請(qǐng)求和響應(yīng)進(jìn)行修改。

四、抓包

初始狀態(tài)下Charles的運(yùn)行界面如下圖所示。

Charles會(huì)一直監(jiān)聽PC和手機(jī)發(fā)生的網(wǎng)絡(luò)數(shù)據(jù)包，捕獲到的數(shù)據(jù)包就會(huì)顯示在左側(cè)，隨著時(shí)間的推移，捕獲的數(shù)據(jù)包越來越多，左側(cè)列表的內(nèi)容也會(huì)越來越多。

可以看到，圖中左側(cè)顯示了Charles抓取到的請(qǐng)求站點(diǎn)，我們點(diǎn)擊任意一個(gè)條目便可以查看對(duì)應(yīng)請(qǐng)求的詳細(xì)信息，其中包括Request、Response等內(nèi)容。

接下來清空Charles的抓取結(jié)果，點(diǎn)擊左側(cè)的掃帚按鈕即可清空當(dāng)前捕獲到的所有請(qǐng)求。然后點(diǎn)擊第二個(gè)監(jiān)聽按鈕，確保監(jiān)聽按鈕是打開的，這表示Charles正在監(jiān)聽App的網(wǎng)絡(luò)數(shù)據(jù)流，如下圖所示。

這時(shí)打開手機(jī)京東，注意一定要提前設(shè)置好Charles的代理并配置好CA證書，否則沒有效果。

打開任意一個(gè)商品，如iPhone，然后打開它的商品評(píng)論頁面，如下圖示。

不斷上拉加載評(píng)論，可以看到Charles捕獲到這個(gè)過程中京東App內(nèi)發(fā)生的所有網(wǎng)絡(luò)請(qǐng)求，如下圖所示。

左側(cè)列表中會(huì)出現(xiàn)一個(gè)api.m.jd點(diǎn)抗 鏈接，而且它在不停閃動(dòng)，很可能就是當(dāng)前App發(fā)出的獲取評(píng)論數(shù)據(jù)的請(qǐng)求被Charles捕獲到了。我們點(diǎn)擊將其展開，繼續(xù)上拉刷新評(píng)論。隨著上拉的進(jìn)行，此處又會(huì)出現(xiàn)一個(gè)個(gè)網(wǎng)絡(luò)請(qǐng)求記錄，這時(shí)新出現(xiàn)的數(shù)據(jù)包請(qǐng)求確定就是獲取評(píng)論的請(qǐng)求。

為了驗(yàn)證其正確性，我們點(diǎn)擊查看其中一個(gè)條目的詳情信息。切換到Contents選項(xiàng)卡，這時(shí)我們發(fā)現(xiàn)一些JSON數(shù)據(jù)，核對(duì)一下結(jié)果，結(jié)果有commentData字段，其內(nèi)容和我們?cè)贏pp中看到的評(píng)論內(nèi)容一致，如下圖所示。

這時(shí)可以確定，此請(qǐng)求對(duì)應(yīng)的接口就是獲取商品評(píng)論的接口。這樣我們就成功捕獲到了在上拉刷新的過程中發(fā)生的請(qǐng)求和響應(yīng)內(nèi)容。

五、分析

現(xiàn)在分析一下這個(gè)請(qǐng)求和響應(yīng)的詳細(xì)信息。首先可以回到Overview選項(xiàng)卡，上方顯示了請(qǐng)求的接口URL，接著是響應(yīng)狀態(tài)Status Code、請(qǐng)求方式Method等，悔裂亂如下圖所示。

這個(gè)結(jié)果和原本在源伏Web端用瀏覽器開發(fā)者工具內(nèi)捕獲到的結(jié)果形式是類似的。

接下來點(diǎn)擊Contents選項(xiàng)卡，查看該請(qǐng)求和響應(yīng)的詳情信息。

上半部分顯示的是Request的信息，下半部分顯示的是Response的信息。比如針對(duì)Reqeust，我們切換到Headers選項(xiàng)卡即可看到該Request的Headers信息，針對(duì)Response，我們切換到JSON TEXT選項(xiàng)卡即可看到該Response的Body信息，并且該內(nèi)容已經(jīng)被格式化，如下圖所示。

由于這個(gè)請(qǐng)求是POST請(qǐng)求，我們還需要關(guān)心POST的表單信息，切換到Form選項(xiàng)卡即可查看，如下圖所示。

這樣我們就成功抓取App中的評(píng)論接口的請(qǐng)求和響應(yīng)，并且可以查看Response返回的JSON數(shù)據(jù)。

至于其他App，我們同樣可以使用這樣的方式來分析。如果我們可以直接分析得到請(qǐng)求的URL和參數(shù)的規(guī)律，直接用程序模擬即可批量抓取。

六、重發(fā)

Charles還有一個(gè)強(qiáng)大功能，它可以將捕獲到的請(qǐng)求加以修改并發(fā)送修改后的請(qǐng)求。點(diǎn)擊上方的修改按鈕，左側(cè)列表就多了一個(gè)以編輯圖標(biāo)為開頭的鏈接，這就代表此鏈接對(duì)應(yīng)的請(qǐng)求正在被我們修改，如下圖所示。

我們可以將Form中的某個(gè)字段移除，比如這里將partner字段移除，然后點(diǎn)擊Remove。這時(shí)我們已經(jīng)對(duì)原來請(qǐng)求攜帶的Form Data做了修改，然后點(diǎn)擊下方的Execute按鈕即可執(zhí)行修改后的請(qǐng)求，如下圖所示。

可以發(fā)現(xiàn)左側(cè)列表再次出現(xiàn)了接口的請(qǐng)求結(jié)果，內(nèi)容仍然不變，如下圖所示。

刪除Form表單中的partner字段并沒有帶來什么影響，所以這個(gè)字段是無關(guān)緊要的。

有了這個(gè)功能，我們就可以方便地使用Charles來做調(diào)試，可以通過修改參數(shù)、接口等來測(cè)試不同請(qǐng)求的響應(yīng)狀態(tài)，就可以知道哪些參數(shù)是必要的哪些是不必要的，以及參數(shù)分別有什么規(guī)律，最后得到一個(gè)最簡(jiǎn)單的接口和參數(shù)形式以供程序模擬調(diào)用使用。

七、結(jié)語

以上內(nèi)容便是通過Charles抓包分析App請(qǐng)求的過程。通過Charles，我們成功抓取App中流經(jīng)的網(wǎng)絡(luò)數(shù)據(jù)包，捕獲原始的數(shù)據(jù)，還可以修改原始請(qǐng)求和重新發(fā)起修改后的請(qǐng)求進(jìn)行接口測(cè)試。

知道了請(qǐng)求和響應(yīng)的具體信息，如果我們可以分析得到請(qǐng)求的URL和參數(shù)的規(guī)律，直接用程序模擬即可批量抓取！

手機(jī)爬蟲非常有意思，而且可以爬取的數(shù)據(jù)非常多，當(dāng)然還有很多東西要學(xué)。以后我也會(huì)寫一些實(shí)戰(zhàn)的有趣案例給大家。

本文題目：php爬京東數(shù)據(jù) 爬取京東數(shù)據(jù)
分享URL：http://vcdvsql.cn/article12/ddpesdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、、Google、面包屑導(dǎo)航、網(wǎng)站策劃、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)