小編給大家分享一下使用python爬蟲怎么處理有密碼的網站,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
創新互聯公司2013年至今,先為太子河等服務建站,太子河等地企業,進行企業商務咨詢服務。為太子河企業網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。
步驟一:查看要爬取的網站信息
進入登錄頁面 。你會看到如下圖所示的頁面。
然后進行查看元素,查看到name、password,最終我們得到以下內容
payload = { "username": "<USER NAME>", "password": "<PASSWORD>", "csrfmiddlewaretoken": "<CSRF_TOKEN>" }
步驟二、配置網站登錄設置
創建一個登錄對象。
session_requests = requests.session()
設置一個登錄的url
result = session_requests.post( login_url, data = payload, headers = dict(referer=login_url) )
步驟三、爬取信息內容
到了這個步驟,我們已經成功進行登錄了,用以下方式進行爬取:
url = '鏈接' result = session_requests.get( url, headers = dict(referer = url) )
以上是“使用python爬蟲怎么處理有密碼的網站”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注創新互聯行業資訊頻道!
當前文章:使用python爬蟲怎么處理有密碼的網站
本文網址:http://vcdvsql.cn/article28/peidjp.html
成都網站建設公司_創新互聯,為您提供小程序開發、服務器托管、網站改版、網站內鏈、自適應網站、軟件開發
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯