wordpress如何設置最佳robots.txt

Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol)，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協議是國際互聯網界通行的道德規范，尊重信息提供者的意愿維護其隱身，正如08年淘寶網屏蔽蜘蛛，11年京東的一淘網屏蔽了爬蟲，都是體現robots.txt的規范互聯網的原則，遵從民主自由。話題有點偏了，回到wordpress如何設置最佳robots.txt。

創新互聯專注于企業成都全網營銷、網站重做改版、沽源網站定制設計、自適應品牌網站建設、H5開發、成都做商城網站、集團公司官網建設、外貿營銷網站建設、高端網站制作、響應式網頁設計等建站業務，價格優惠性價比高，為沽源等各大城市提供網站開發制作服務。

Robots.txt是搜索引擎蜘蛛進站的第一個胃口，首要檢查的文件，網站有很多內容例如js，style，插件，圖片是無需爬蟲去抓取的，對博客網站來說文章才是重中之重，把所有力氣放在文章，一點擊破，而不是浪費資源做無用功，而wordpress默認的robots.txt是：

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

這只是其中的一小部分，對不懂優化的人來說，屏蔽這些應該已經足夠，但對SEO來說，就是追求完美，沒有最好只有更好，那么要屏蔽那些，如何屏蔽呢

1.動態頁面對搜索引擎不友好，搜索引擎的口味是靜態頁面，所以可以屏蔽動態頁面，前提是網站要偽靜態，

Disallow: /*?* 限制動態頁面 /%post_id%.html 偽靜態設置

2.管理員登錄界面，既然是管理員就沒必要給爬蟲抓取，登錄界面對用戶也沒用

Disallow: /wp-admin/ 限制管理員登陸頁面

3.插件、模板、js文件這些是網站的后臺程序代碼，也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件文件

Disallow: /wp-content/themes/ 限制模板文件

Disallow: /wp-includes/ 限制js文件

4.feed，不知道站長們對這個熟悉嗎，這個是網站的訂閱文件，原本漳州網站建設也不知道，只知道有RSS訂閱，在網站域名后加個feed你就清楚了，這個也可以屏蔽。

Disallow: /feed

5.網站的評論，評論被抓取會導致文章的重復，不利于觀察分析，用戶體驗，但這個視具體情況，個人愛好不一。

Disallow: /comments 限制評論

Disallow: /*?replytocom* 限制每一個評論頁面

設置完Robots.txt后，為保險起見，最好用百度站長工具檢查一下，漳州網站建設就被robots.txt解禁困擾過，花了很長時間才把它搞定。插個小曲，robots.txt不僅可以禁止爬蟲爬取網站結構，也可以禁止 404頁面，搜索蜘蛛非常喜歡網站地圖，sitemap可以為搜索引擎蜘蛛指路，增加網站重要內容頁面的收錄，也有利于用戶體驗，所以最后一點就是加入網站地圖。

如何通過sitemap網站地圖來吸引蜘蛛爬行

通過sitemap網站地圖吸引蜘蛛爬行的方式主要有以下幾點：

1、什么是 sitemap

簡單理解：sitemap 就是網站地圖，它通過可視化的形式，展示網站的主要結構比如：列表頁、分類頁、tag 頁，以及內容頁面。

網站地圖的主要形式包括：sitemap.html、sitemap.xml、sitemap.txt，通常情況下這三種形式的

sitemap網站地圖，主要被存放在：

① 網站前端頁面

通常眾多站長喜好將 sitemap.html

類型的網站地圖，存放在前端頁面，經常被放在網站導航中，用于向訪客清晰的展示網站的結構框架，突出眾多欄目。

在頁面相對較多的網站，理論上它會出現多個 sitemap.html 用于展現不同專題的內容結構。

② 網站 Robots.txt 中

理論上 sitemap.xml 與 sitemap.txt 經常被存放在 Robots.txt

文件中，用于百度蜘蛛快速抓取，當然也可以做百度網址提交，加快頁面收錄。

具體有關 sitemap 配置的方法，你可以參考百度官方《平臺工具使用幫助》中，鏈接提交的說明。

2、網站地圖制作方法：

網站地圖制作的方法有很多，通常來講主要包括如下幾個方面：

① 程序插件

一般情況下，知名的 cms 系統，都會配有 sitemap 網站地圖生成插件，你需要在相應的應用市場去查詢相關插件，并開啟他們，比如：wordpress

插件、zblog 插件和 dedecms 織夢插件等，當然你也可以聘用技術人員，獨立開發一個插件，性價比還是蠻高的。

② sitemap 生成器

目前市面上有很多在線生成 sitemap 的網站，以及客戶端，比如：愛站網的 SEO 工具包，對于一些技術能力不強的小伙伴，還是很有幫助。

③ 手動生成

如果你在操作一個獨立博客，每日更新的內容并不是特別多，比如在 10 篇以下，那么你完全可以手動添加 sitemap，如果你想在簡單一點，你只需要選擇

sitemap.txt，把 URL 網址復制到這個文本文件中就可以。

3、如何提交網站地圖

通常向百度提交 sitemap 網站地圖的方法很簡單，你只需要登錄百度搜索資源平臺，你就會在：

網站支持-數據引用-鏈接提交中

如何讓各大搜索引擎搜索收錄到剛建的wordpress網站

讓各大搜索引擎搜索收錄到剛建的wordpress網站方法如下：

一、提交入口（這里以百度舉例）

打開百度站長

2.鏈接提交

3.手動提交

4.填寫網址，提交即可

二、外鏈建設

可以通過去各個論壇發布帶有網址的文本，讓搜索引擎蜘蛛爬行網站，從而收錄。查看外鏈的方法如圖：

wordpress中怎樣設置不讓搜索引擎搜索

wordpress系統本身是對搜索引擎友好的，如果網站的內容比較私密不希望蜘蛛爬取，可以能過以下方法實現：

1、進入wordpress "設置"? - "閱讀"? - 然后勾選“建議搜索引擎不索引本站點”，再點擊 “保存更改”。這樣搜索引擎就不會收錄和索引網站了。

2、還可以通過配置“robots.txt”來告訴搜索引擎，不要收錄/索引網站的內容；

步驟：

1)，新建一個文本文檔，重命名為“robots.txt”；

2)，在文本文件貼入以下內容并保存：

User-agent: *

Disallow: /

3)，將設置好的“robots.txt”上傳至網站的根目錄。

文章標題：wordpress引蜘蛛 網站怎么引蜘蛛
本文鏈接：http://vcdvsql.cn/article42/ddopdec.html

成都網站建設公司_創新互聯，為您提供移動網站建設、服務器托管、網頁設計公司、網站維護、Google、網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯