我現在有一套在網站上爬取數據的程序(用python寫的)如何在服務器...

需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那么分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。

網站建設哪家好，找創新互聯！專注于網頁設計、網站建設、微信開發、微信小程序開發、集團企業網站建設等服務項目。為回饋新老客戶創新互聯還提供了立山免費建站歡迎大家使用！

這時候，手動一個個去下顯然是不可取的，我們需要寫個腳本，能從特定的網站選擇性得批量下載需要的信息。python是不錯的選擇。

出現了數據造假，這個數字可能是刷出來的 真的有這么多的評論，但這時候系統可能只顯示其中比較新的評論，而對比較舊的評論進行了存檔。

目前我想到的方案是借助爬蟲框架，數據存儲可利用mysql，mongodb之類的。打個比方，這是我用scrapy爬取詩詞網站的數據，然后存儲到Mongodb中，就是缺少一部更新。

我們先來分析如何構造用戶信息的URL。這里我以微博名為一起神吐槽的博主為例進行分析。做爬蟲的話，一個很重要的意識就是爬蟲能抓的數據都是人能看到的數據，反過來，人能在瀏覽器上看到的數據，爬蟲幾乎都能抓。

怎么創建網絡爬蟲日志??

您可以創建日志文件，并使其包含與互操作性、程序加載和網絡有關的診斷信息。通過設置注冊表項，可以啟用日志記錄。首先，設置一個注冊表項以啟用常規日志記錄，然后針對所需的日志記錄組件和選項來設置注冊表項。

做法：傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。

RemoteSyslogAppender 通過UDP網絡協議將日志寫到Remote syslog service。RemotingAppender 通過.NET Remoting將日志寫到遠程接收端。RollingFileAppender 將日志以回滾文件的形式寫到文件中。SmtpAppender 將日志寫到郵件中。

scrapy怎么在服務器上跑起來

screen -m：如果在一個Screen進程里，用快捷鍵crtl+a c或者直接打screen可以創建一個新窗口，screen -m可以新建一個screen進程。screen -dm：新建一個screen，并默認是detached模式，也就是建好之后不會連上去。

則瓶頸多出在CPU上。多進程的話可以高效利用CPU。但是其實多數情況是在網絡，所以說更好的解決辦法是用多個機房的多臺機器同時跑多進程的爬蟲，這樣減少網絡阻塞。實現的話，用scrapy+rq-queue然后用redis來作隊列就好。

對于scrapy而言，更多的時候是在配置scrapy。先要繼承一個spider寫爬蟲的主體，然后還要在setting里寫配置，在pipeline里寫數據庫。

它把整個爬蟲過程分為了多個獨立的模塊，并提供了多個基類可以供我們去自由擴展，讓爬蟲編寫變得簡單而有邏輯性。

盡可能減少網站訪問次數 單次爬蟲的主要把時間消耗在網絡請求等待響應上面，所以能減少網站訪問就減少網站訪問，既減少自身的工作量，也減輕網站的壓力，還降低被封的風險。

所以安裝pip會自動安裝setuptools 有上面的依賴可知，在非windows的環境下安裝 Scrapy的相關依賴是比較簡單的，只用安裝pip即可。Scrapy使用pip完成安裝。

網頁題目：在阿里云服務器上部署爬蟲 可以用阿里云服務器爬蟲嗎
文章起源：http://vcdvsql.cn/article14/deiepge.html

成都網站建設公司_創新互聯，為您提供搜索引擎優化、網站營銷、微信小程序、靜態網站、微信公眾號、用戶體驗

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯