小編給大家分享一下python爬蟲如何爬取天氣預報表，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

新縣網站制作公司哪家好，找創新互聯建站！從網頁設計、網站建設、微信開發、APP開發、自適應網站建設等網站項目制作，到程序開發，運營維護。創新互聯建站2013年至今到現在10年的時間，我們擁有了豐富的建站經驗和運維經驗，來保證我們的工作的順利進行。專注于網站建設就選創新互聯建站。

1 構造URL列表

每個月份的歷史天氣數據是通過一個 Javascript 文件獲取的。因此，我們需要構造帶爬取數據的 URL 列表，再批量爬取數據。

# 構造2019全年的月份列表
months = []
for year in (2019,):
    for month in range(12):
        months.append("%d%02d"%(year, month+1))
todo_urls = [
    "http://tianqi.2345.com/t/wea_history/js/"+month+"/58457_"+month+".js"
    for month in months
]

2 批量下載數據

使用 requests 庫獲取 js 文件中的數據，并存到 datas 變量中。

import requests
datas = []
for url in todo_urls:
    r = requests.get(url, headers = headers)
    if r.status_code!=200:
        raise Exception()
    # 去除javascript前后的字符串，得到一個js格式的JSON
    data = r.text.lstrip("var weather_str=").rstrip(";")
datas.append(data)

3 解析數據

我們從 js 文件獲取的數據 json 格式存儲的，需要使用 demjson 對數據進行解析。

# 解析所有月份的數據
all_datas = []
 
for data in datas:
    tqInfos = demjson.decode(data)["tqInfo"]
all_datas.extend([x for x in tqInfos if len(x)>0])

4 將結果導入 csv 文件

import csv
with open('./hangzhou_tianqi_2019.csv', 'w', newline='', encoding='utf-8') as csv_file:
    writer = csv.writer(csv_file)
    columns = list(all_datas[0].keys())
    writer.writerow(columns)
    
    for data in all_datas:
        writer.writerow([data[column] for column in columns])

5 結果展示

以上是python爬蟲如何爬取天氣預報表的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創新互聯行業資訊頻道！

分享文章：python爬蟲如何爬取天氣預報表
轉載源于：http://vcdvsql.cn/article4/peihoe.html

成都網站建設公司_創新互聯，為您提供全網營銷推廣、網站營銷、網站建設、企業建站、小程序開發、定制網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯