在linux系統(tǒng)下，如何查看百度蜘蛛爬取日志

這個(gè)要根據(jù)你容器的不同來(lái)決定的，

網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站的開(kāi)發(fā)，更需要了解用戶，從用戶角度來(lái)建設(shè)網(wǎng)站，獲得較好的用戶體驗(yàn)。成都創(chuàng)新互聯(lián)公司多年互聯(lián)網(wǎng)經(jīng)驗(yàn)，見(jiàn)的多，溝通容易、能幫助客戶提出的運(yùn)營(yíng)建議。作為成都一家網(wǎng)絡(luò)公司，打造的就是網(wǎng)站建設(shè)產(chǎn)品直銷的概念。選擇成都創(chuàng)新互聯(lián)公司，不只是建站，我們把建站作為產(chǎn)品，不斷的更新、完善，讓每位來(lái)訪用戶感受到浩方產(chǎn)品的價(jià)值服務(wù)。

默認(rèn)的路徑是你安裝時(shí)候指定的

如果用的LNMP之類的安裝包

你可以在SHELL下

whereisnginx

找到相應(yīng)的路徑之后

在NGINX下的CONF文件夾里看配置文件，日志文件如果記錄了話

在配置文件里有路徑的，這個(gè)還是比較麻煩現(xiàn)在的都是使用系統(tǒng)類似的有dedecms，wordpress，帝國(guó)cms，搜外6系統(tǒng)可以直接在根目錄下或者功能統(tǒng)計(jì)里面直接查看百度蜘蛛爬取日志。

如何查看百度蜘蛛爬行記錄

查看百度蜘蛛爬行記錄的方法：

第一，前往空間服務(wù)器，下載網(wǎng)站日志。

第二，打開(kāi)網(wǎng)站日志文件，搜索：Baiduspider。

百度（Baidu）爬蟲名稱：Baiduspider

第三，鑒別百度蜘蛛的真?zhèn)巍?/p>

由于很多站長(zhǎng)工具會(huì)模擬百度蜘蛛的名稱來(lái)爬抓網(wǎng)站，因此，需要我們鑒別百度蜘蛛的真?zhèn)巍?/p>

鑒別方法：

開(kāi)始—運(yùn)行—輸入 cmd ，用命令nslookup +ip

只要是百度的IP段，代碼中會(huì)有出現(xiàn)：name：baiduspider，如果沒(méi)有出現(xiàn)，那就不說(shuō)不是真的百度IP段

第四，可以通過(guò)日志工具來(lái)查看網(wǎng)站日志。例如：光年日志。

如何查看蜘蛛訪問(wèn)網(wǎng)站的記錄

對(duì)于很多做網(wǎng)站的新手來(lái)說(shuō)，都沒(méi)有經(jīng)過(guò)系統(tǒng)地授課進(jìn)行網(wǎng)絡(luò)技術(shù)和建站知識(shí)學(xué)習(xí)，做網(wǎng)站都是靠自學(xué)，遇到難題在論壇發(fā)帖提問(wèn)，更不會(huì)懂得網(wǎng)站優(yōu)化，對(duì)于較基本操作——通過(guò)網(wǎng)站日志看蜘蛛來(lái)訪情況都不知到哪里看，怎么看。前兩天看到很多人發(fā)帖提問(wèn)，回復(fù)者的答案卻比較精煉，不具體，提問(wèn)者還是云里霧里的，現(xiàn)我就以自己的網(wǎng)站來(lái)系統(tǒng)地操作一次，提交給大家參考，有說(shuō)錯(cuò)的地方，請(qǐng)批評(píng)指正。

1、打開(kāi)FTP登錄軟件，我用的是FlashFXP，登錄空間FTP

登錄FTP后，你會(huì)發(fā)現(xiàn)根目錄下有一個(gè)wwwlogs文件夾，（有的是weblog，注：不同的服務(wù)器空間生成的日志文件目錄名稱不一樣，僅供參考，一般文件夾中包含Log字符的就是日志文件夾）。

2、打開(kāi)wwwlogs文件夾后，里面有一些以日期格式特征為文件名的.gz后綴結(jié)尾的文件，這些就是我們需要下載到本地的日志文件。

3、下載到電腦桌面后，解壓縮打開(kāi)，里面是一個(gè)記事本格式的文件，打開(kāi)文件，看到的是下圖這樣的代碼，我下載的是3月7日的那個(gè)文件。

4、分析代碼

上圖1是百度蜘蛛的IP地址；

2是蜘蛛來(lái)訪日期時(shí)間（2012年3月6日1時(shí)21分22秒），3月7日的日志文件記錄的是從3月6日凌晨開(kāi)始，至3月7日1時(shí)11分39秒整個(gè)時(shí)間段的n多次來(lái)訪記錄）；

3是百度蜘蛛baiduspider

4是我網(wǎng)站被訪問(wèn)的網(wǎng)頁(yè)地址；

5是sogou 搜狗蜘蛛的來(lái)訪，同樣也能看到時(shí)間和被訪網(wǎng)頁(yè)。

如果是簡(jiǎn)單的查看，您可以在記事本中搜索baiduspider ，如果想精確分析，可借助一些專用的分析軟件。分析下哪些時(shí)間段百度蜘蛛來(lái)的最頻繁，那么我們就在這個(gè)時(shí)間段更新我們的網(wǎng)站內(nèi)容，很容易被百度收錄的。

通過(guò)分析蜘蛛來(lái)訪紀(jì)錄，可以了解本站的大體情況，而不用再為百度不放出內(nèi)頁(yè)或者不收錄的問(wèn)題而苦惱了。

蜘蛛來(lái)訪正常，可以確切的說(shuō)，搜索引擎對(duì)你的站很友好的，堅(jiān)持更新自己的網(wǎng)站，會(huì)有不錯(cuò)的收錄的。

注：有些共享IP空間可能不支持日志功能，對(duì)于獨(dú)立ip虛擬主機(jī)則提供每天的日志下載，而實(shí)在沒(méi)有可以日志功能的空間可以參考使用蜘蛛爬行插件的一些方法進(jìn)行分析。

文章標(biāo)題：帝國(guó)cms蜘蛛爬行記錄 帝國(guó)cms采集教程
標(biāo)題網(wǎng)址：http://vcdvsql.cn/article24/doiepce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、用戶體驗(yàn)、動(dòng)態(tài)網(wǎng)站、、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)