關于我們 RRS sitemaps 網站地圖

首頁 > SEO基礎 > SEO入門 > 正文

SEM論壇

什么是robots協議

2019-07-06 09:51:43 |  評論:0  |  點擊:  |  SEM論壇

 

robots協議是一個網站根目錄下的一個txt文本文件,當搜索引擎蜘蛛在訪問某個網站時,都會檢查這個網站的根域下是否有這么一個文本文件。所以,它同時也是搜索引擎蜘蛛來到你站點抓取的第一個文件,這個robots文件的作用就是針對蜘蛛讓它對你的站點哪些內容抓取還是不抓取,給搜索引擎的一個協議,它能夠很好的保護用戶信息,網站隱私等。

robots規則

User-Agent:       針對某個搜索引擎蜘蛛的規則,
Allow:                允許抓取
Disallow:           不允許抓取
*                        通配符,所有的
$                           結束符,以什么什么結尾。
/                           根目錄

注意:以上都是英文狀態下輸入,包括冒號,空格,冒號之后有一個英文狀態下的空格,首頁要字母大寫,并且寫的都是相對路徑,而不是絕對路徑。

例如:

User-Agent: *                                               針對所有搜索引擎的規則
Disallow: /wp-content/                                不允許抓取這個文件夾
Allow: /wp-content/uploads/LOGO.jip        允許抓取這個文件夾里的這個張圖片
Disallow: /*.js$                                             不允許抓取更目錄下所有以.js結尾的文件

 

關鍵字:

上一篇:怎么學習SEO

下一篇:什么是面包屑導航




网球比分扳