一、 分析：
抓取動態頁面js加載的人民日報里面的新聞詳情 https://wap.peopleapp.com/news/1
先打開，然后查看網頁源碼，發現是一堆js，并沒有具體的每個新聞的url詳情，于是第一反應，肯定是js動態加載拼接的url。然后接著按f12 查看，就看url，發現出來了好多url。
然后點擊具體的某一個新聞詳情頁面，查看url，把這個url的 后面兩個數字其中一個拿到訪問主頁的時候，f12 抓包結果里面去查找，發現一個url，點擊這個url，發現preview里面有好多數據，我第一反應，肯定是每個新聞數據了。看到這些數據里面有兩個ID，聯想到剛剛訪問具體新聞詳情頁面也有兩個數字，肯定，具體新聞頁面肯定是 https://wap.peopleapp.com/article 加上兩個ID形成的。于是試了一下拼接一個url訪問，果然是。于是乎只要抓到這個url，就能獲取到每個新聞的詳情頁了。



但這個抓到的url只加載了10條，我于是想改改里面的 show_num值，發現請求失敗，仔細看這個url，有個securitykey 這個應該是js根據具體算法算出來的，看了一下那個拼接成url的js，發現看著有點頭大，算了，只要我能一直抓這類url就行了
https://app.peopleapp.com/WapApi/610/HomeApi/getContentList?category_id=1&refresh_time=0&show_num=10&page=1&securitykey=ee9bad0d112f882403f5b9f4dc2266a0&interface_code=610

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：域名注冊、網頁空間、營銷軟件、網站建設、新縣網站維護、網站推廣。

發現只要我頁面往下翻，就會新加載一條，于是我只要能解決兩個問題：
1.往下翻頁的問題，讓這個數據url給加載出來
2.把這個url抓取到日志里面利用腳本訪問，就能獲取到數據了

查看了網上一些文檔，最后決定用 python 的 selenium 這個模塊，它是程序打開本地的瀏覽器進行操作，它里面有個方法execute_script('window.scrollTo(0, document.body.scrollHeight)') 就是下翻頁的，利用這個就能一直把后面的 那個數據url給加載出來了。
第二個就是解決把這個數據url給抓出來，我就用fiddler來進行抓包（這里抓包工具，根據你們自己的選擇，推薦一個：mitmproxy，這也是抓包神器，可以定制化抓包，比較方便，具體操作請百度、google）
我這里用fiddler，經常用這個，用著習慣。

二、使用fiddler進行抓包寫入日志
1.fiddler 導出證書到瀏覽器
1.1.打開 tools-options

1.2.點擊https-> actions -> export root certificate to desktop

1.3．打開瀏覽器（以火狐為例）

1.4.直接搜索”證書”，點擊查看證書


1.5.點擊導入—選擇剛才從fiddler導出的證書即可

1.6.設置fiddler代理
打開 tools-> options -> connections
設置端口，默認8888

1.7.設置火狐瀏覽器去連接fiddler代理
找到網絡設置，打開后，點擊手動代理配置，填寫ip，端口，勾選”為所有協議使用相同的代理服務器”


最后找一個https驗證訪問即可

fiddler 過濾（對動態抓取，可不設置，擴展學習）
參考：
https://www.cnblogs.com/sjl179947253/p/7627250.html

1.8. 打開 FiddlerScript，查找OnBeforeResponse 方法寫入腳本
if (oSession.HostnameIs("app.peopleapp.com") && oSession.uriContains("getContentList")){
var filename = "F:/logs/fiddler.log";
var curDate = new Date();
var logContent = "https://app.peopleapp.com" + oSession.PathAndQuery + "\r\n";
var sw : System.IO.StreamWriter;
if (System.IO.File.Exists(filename)){
sw = System.IO.File.AppendText(filename);
sw.Write(logContent);
}
else{
sw = System.IO.File.CreateText(filename);
sw.Write(logContent);
}
sw.Close();
sw.Dispose();
}

三、 python 腳本讀取fiddler日志，對最新的url進行獲取內容，提取id拼接成新的新聞詳情url

1. 準備工作：
   我這里用的是python3 先pip3 install selenium 安裝模塊

然后下載瀏覽器驅動，這下面有兩個，google根據對應瀏覽器版本下載，firefox根據系統類型下載即可
#google 瀏覽器驅動下載地址 http://npm.taobao.org/mirrors/chromedriver/
#firefox 瀏覽器驅動下載地址 https://github.com/mozilla/geckodriver/releases/

2. 最后貼上腳本
3. from selenium import webdriver
   import time
   import requests as r
   import re
   import json

#獲取具體的新聞url，并寫入文本
def get_news_url(search_time):
#打開日志文件
file = open("F:/logs/fiddler.log","r")
#最新一條url
file_msg = file.readlines()
#判斷fiddler里面是否有url內容，若讀取的內容列表等于0，則表示無內容
if len(file_msg) == 0:
return "continue"
#讀取數組內容最后一位，即為最新的url
url = file_msg[-1].strip("\n")
print(url.strip("\n"))
file.close()
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-CN,zh;q=0.9",
"Cache-Control": "no-cache",
"Connection": "keep-alive",
"Cookie": "acw_tc=2760826c15644797526864019e11da63f32bf5b082a7da38667809b95819f3; SERVERID=f858eac9d6463aa503ba25948984ceb0|1564566072|1564566072",
"Host": "app.peopleapp.com",
"Pragma": "no-cache",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
}
#獲取抓包的最新url數據
html = r.get(url,headers=headers).text
#轉換成json
json_html = json.loads(html)
#獲取json的data數據
news_data_li = json_html["data"]
#寫入文件
news_file = open("F:/logs/news.log","a")
#循環data數據，提取兩個id，拼接成url，寫入日志文件（這里可以根據實際情況，如對拼接成的url進行判斷 分成具體的每個月進行寫入日志等）
for news in news_data_li:
id = news["id"]
articleid = news["articleid"]
news_url = "https://wap.peopleapp.com/article/" + id + "/" + articleid
print(news_url)
news_file.write(news_url + "\n")
news_file.close()
#這一步只是用來控制的獲取數據的時間，若傳入的時間在數據內，則返回stop，停止，比如 只搜索 201904到現在的，就傳入201904即可，這里根據具體需求改改就行
search_result = re.search(search_time,html)
if search_result is None:
return "continue"
else:
return "stop"

#爬取動態頁面url
#google 瀏覽器驅動下載地址 http://npm.taobao.org/mirrors/chromedriver/
#firefox 瀏覽器驅動下載地址 https://github.com/mozilla/geckodriver/releases/
#browser = webdriver.Chrome(executable_path="D:\python37\chromedriver_win32\chromedriver.exe")
#加載具體的瀏覽器驅動
browser = webdriver.Firefox(executable_path="D:\python37\geckodriver-v0.24.0-win64\geckodriver.exe")
#設置瀏覽器需要訪問的url
browser.get("https://wap.peopleapp.com/news/1")
#循環操作瀏覽器往下翻頁
while True:
#翻頁腳本
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
#翻頁后，暫停1秒
time.sleep(1)
#調用獲取具體詳情新聞頁的url
results = get_news_url("201907")
#判斷結果是否停止
if results == "stop":
browser.quit()
break

本文標題：python3selenium+fiddler爬取動態js頁面數據
當前鏈接：http://vcdvsql.cn/article34/pocope.html

成都網站建設公司_創新互聯，為您提供App設計、搜索引擎優化、做網站、定制開發、定制網站、網站營銷

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯