小編給大家分享一下怎么用框架給python爬蟲(chóng)定時(shí),相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
專(zhuān)注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)伽師免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動(dòng)了上1000家企業(yè)的穩(wěn)健成長(zhǎng),幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
在linux系統(tǒng)下,你可以使用crontab命令設(shè)置定時(shí)任務(wù),不多這個(gè)命令對(duì)于初學(xué)者來(lái)說(shuō)用起來(lái)不那么簡(jiǎn)單直觀,本文推薦你使用定時(shí)任框架APScheduler
pip install apscheduler
該框架的接口定義十分友好,比如你希望你的爬蟲(chóng)函數(shù)run_spider 在每天的10點(diǎn)15分能夠準(zhǔn)時(shí)啟動(dòng),那么你的代碼可以寫(xiě)成下面的樣子
from apscheduler.schedulers.blocking import BlockingScheduler def run_spider(): print("啟動(dòng)爬蟲(chóng)") sched = BlockingScheduler() sched.add_job(run_spider, 'cron', hour=10, minute=15) sched.start()
在add_job方法里,關(guān)于時(shí)間的設(shè)置,可以參考 CronTrigger類(lèi)的初始化函數(shù)
如果你希望自己的爬蟲(chóng)每3分鐘就執(zhí)行一次爬取,那么你可以將代碼寫(xiě)成下面的樣子
from apscheduler.schedulers.blocking import BlockingScheduler def run_spider(): print("啟動(dòng)爬蟲(chóng)") sched = BlockingScheduler() sched.add_job(run_spider, 'interval', minutes=3) sched.start()
以上是“怎么用框架給python爬蟲(chóng)定時(shí)”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
當(dāng)前標(biāo)題:怎么用框架給python爬蟲(chóng)定時(shí)
URL鏈接:http://vcdvsql.cn/article0/pephoo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、品牌網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司、定制開(kāi)發(fā)、網(wǎng)站營(yíng)銷(xiāo)、網(wǎng)站設(shè)計(jì)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)