本文實例講述了Python抓取某只基金歷史凈值數據。分享給大家供大家參考,具體如下:
創新互聯建站堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網站建設、做網站、企業官網、英文網站、手機端網站、網站推廣等服務,滿足客戶于互聯網時代的松江網站設計、移動媒體設計的需求,幫助企業找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴!http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下來,我們需要動手把這些html抓取下來(這部分知識我們之前已經學過,現在不妨重溫)
# coding: utf-8 from selenium.webdriver.support.ui import WebDriverWait from selenium import webdriver from bs4 import BeautifulSoup from threading import Thread,Lock import os import csv # 下面是利用 selenium 抓取html頁面的代碼 # 初始化函數 def initSpider(): driver = webdriver.PhantomJS(executable_path=r"你phantomjs可執行文件的絕對路徑") driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的網頁地址 # 找到"下一頁"按鈕,就可以得到它前面的一個label,就是總頁數 getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath( "div[@class='pagebtns']/label[text()='下一頁']/preceding-sibling::label[1]").get_attribute("innerHTML") # 得到總共有多少頁 total_page = int("".join(filter(str.isdigit, getPage_text))) # 返回 return (driver,total_page) # 獲取html內容 def getData(myrange,driver,lock): for x in myrange: # 鎖住 lock.acquire() tonum = driver.find_element_by_id("pagebar").find_element_by_xpath( "div[@class='pagebtns']/input[@class='pnum']") # 得到 頁碼文本框 jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath( "div[@class='pagebtns']/input[@class='pgo']") # 跳轉到按鈕 tonum.clear() # 第x頁 輸入框 tonum.send_keys(str(x)) # 去第x頁 jumpbtn.click() # 點擊按鈕 # 抓取 WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None) # 保存到項目中 with open("../htmls/details/{0}.txt".format(x), 'wb') as f: f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8')) f.close() # 解鎖 lock.release() # 開始抓取函數 def beginSpider(): # 初始化爬蟲 (driver, total_page) = initSpider() # 創建鎖 lock = Lock() r = range(1, int(total_page)+1) step = 10 range_list = [r[x:x + step] for x in range(0, len(r), step)] #把頁碼分段 thread_list = [] for r in range_list: t = Thread(target=getData, args=(r,driver,lock)) thread_list.append(t) t.start() for t in thread_list: t.join() # 這一步是需要的,等待線程全部執行完成 print("抓取完成") # #################上面代碼就完成了 抓取遠程網站html內容并保存到項目中的 過程
分享標題:Python學習筆記之抓取某只基金歷史凈值數據實戰案例-創新互聯
文章URL:http://vcdvsql.cn/article48/ddhjep.html
成都網站建設公司_創新互聯,為您提供Google、外貿網站建設、虛擬主機、微信公眾號、商城網站、靜態網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯