1、通過淘寶提供的標準api獲取數據
成都創新互聯公司公司2013年成立,先為德化等服務建站,德化等地企業,進行企業商務咨詢服務。為德化企業網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。
2、通過淘寶的開發者身份創建應用獲取數據
3、通過抓取網頁的功能再提取自已需要的數據。
直接用Curl就行,具體爬取的數據可以穿參查看結果,方法不區分淘寶和天貓鏈接,但是前提是必須是PC端鏈接,另外正則寫的不規范,所以可以自己重寫正則來匹配數據。
可以通過requests庫re庫進行淘寶商品爬蟲爬取
import requests
import re
def getHTMLText(url):
try:
r= requests.get(url,timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parsePage(ilt,html):
try:
plt = re.findall(r'\"view_price\":\"[\d+\.]*\"',html)
tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price,title])
except:
print("F")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tplt.format("序號","價格","商品名稱"))
count = 0
for g in ilt:
count = count +1
print(tplt.format(count,g[0],g[1]))
def main():
goods = '書包'
depth = 2
start_url = ""+ goods
infoList = []
for i in range(depth):
try:
url = start_url +'s='+str(44*i)
html = getHTMLText(url)
parsePage(infoList,html)
except:
continue
printGoodsList(infoList)
main()
這段代碼在過去是可以爬取淘寶商品信息,但是因為淘寶的反扒技術升級,便不能讓你大搖大擺地進出自如了。
此外也可以借助采集實現采集
網頁名稱:php獲取淘寶商品數據 php采集淘寶數據
當前鏈接:http://vcdvsql.cn/article4/dooojoe.html
成都網站建設公司_創新互聯,為您提供定制網站、品牌網站設計、靜態網站、網站營銷、全網營銷推廣、關鍵詞優化
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯