Python3爬蟲利器Scrapyd API如何安裝?這個問題可能是我們日常學習或工作經常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家帶來的參考內容,讓我們一起來看看吧!
創新互聯建站專業為企業提供諸城網站建設、諸城做網站、諸城網站設計、諸城網站制作等企業網站建設、網頁設計與制作、諸城企業網站模板建站服務,10年諸城做網站經驗,不只是建網站,更提供有價值的思路和整體網絡服務。
安裝好了Scrapyd之后,我們可以直接請求它提供的API來獲取當前主機的Scrapy任務運行狀況。比如,某臺主機的IP為192.168.1.1,則可以直接運行如下命令獲取當前主機的所有Scrapy項目:
curl http://localhost:6800/listprojects.json
運行結果如下:
{"status": "ok", "projects": ["myproject", "otherproject"]}
返回結果是JSON字符串,通過解析這個字符串,便可以得到當前主機的所有項目。
但是用這種方式來獲取任務狀態還是有點煩瑣,所以Scrapyd API就為它做了一層封裝,下面我們來看下它的安裝方式。
1. 相關鏈接
GitHub:https://pypi.python.org/pypi/python-scrapyd-api/
PyPI:https://pypi.python.org/pypi/python-scrapyd-api
官方文檔:http://python-scrapyd-api.readthedocs.io/en/latest/usage.html
2. pip安裝
這里推薦使用pip安裝,命令如下:
pip install python-scrapyd-api
3. 驗證安裝
安裝完成之后,便可以使用Python來獲取主機狀態了,所以上面的操作便可以用Python代碼實現:
from scrapyd_api import ScrapydAPI scrapyd = ScrapydAPI('http://localhost:6800') print(scrapyd.list_projects())
運行結果如下:
["myproject", "otherproject"]
這樣我們便可以用Python直接來獲取各個主機上Scrapy任務的運行狀態了。
感謝各位的閱讀!看完上述內容,你們對Python3爬蟲利器Scrapyd API如何安裝大概了解了嗎?希望文章內容對大家有所幫助。如果想了解更多相關文章內容,歡迎關注創新互聯行業資訊頻道。
網站欄目:Python3爬蟲利器ScrapydAPI如何安裝
標題來源:http://vcdvsql.cn/article6/gdgeig.html
成都網站建設公司_創新互聯,為您提供虛擬主機、標簽優化、關鍵詞優化、網站營銷、用戶體驗、商城網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯