php采集大數據的方案

1、建議你讀寫數據和下載圖片分開，各用不同的進程完成。

創新互聯主要從事成都網站設計、做網站、網頁設計、企業做網站、公司建網站等業務。立足成都服務長洲,10余年網站建設經驗,價格優惠、服務專業,歡迎來電咨詢建站服務:18980820575

比如說，取數據用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發多個子進程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設置它每5分鐘執行一次，只負責讀數據，然后把讀回來的數據一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數據的腳本作為worker，例如叫process-data.php，這個腳本常駐內存。它作為worker從geraman 隊列里讀出一條一條的數據，然后跟你的數據庫老數據比較，進行你的業務邏輯。如果你要10個并發，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發隨便你。這個進程也常駐內存運行，從gearman worker的圖片數據隊列里取數據出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環，讓它一直運行好了。如果怕內存泄露啥的，你可以每循環10萬次退出一下。然后在crontab里設置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

用HTML PHP提交表單 如何不用數據庫存儲并查看數據

將表單內容以post方式傳遞到服務器上找個地方，用時間戳來命名文件，以.txt文件存儲，定義自己需要的格式，就行啦，要查看數據的時候，直接遍歷讀取文件就可以查看了

php不使用數據庫

信息終究是要存儲的，最終都需要存儲在文件中，數據庫在這個事情上可以讓為是幫你管理一大堆的“文件”，其他的如csv、excel，也算是變相的一種數據庫了;

如果非不要數據庫，建議直接生成靜態html吧，可以用markdown之類的工具。修改不方便。

網頁名稱：php不帶數據庫的采集 php不帶數據庫的采集方式
本文地址：http://vcdvsql.cn/article34/ddijope.html

成都網站建設公司_創新互聯，為您提供定制網站、云服務器、標簽優化、網站導航、網站改版、搜索引擎優化

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯