什麼是網頁設計?背景
認識網頁設計Q & A

認識網頁設計 - 網站內部SEO (On-Site)

Robots Meta 指令 - Robots Meta Directives

Meta 指令 - Robots Meta Directives

Robots Meta 指令(有時也稱為“Meta標籤”)是一些程式語法,它們提供網頁爬蟲如何抓取或索引網頁內容的抓取指令,雖然robots.txt文件指令也可以幫網路爬蟲提供了如何抓取網站的建議,但Robots Meta指令提供了更為嚴格的,指導網頁爬蟲如何抓取和索引頁面的內容。

有兩種類型的Robots Meta 指令:屬於HTML頁面(如meta robots tag)的部分,以及Web服務器作為HTTP頭部(如 x-robots-tag)發送的指令。meta robots tag和x-robots-tag都可以使用相同的參數(即Meta提供的抓取或索引指令,例如上述示例中的“noindex”和“nofollow”),不同的是這些參數如何傳遞給網頁爬蟲。

Meta指令提供抓取工具並解釋,如何抓取和索引特定網頁上的內容,如果這些指令是被機器人搜索到,那麼參數就成為了規範爬蟲行為的強有力的建議,但是與robots.txt文件相同,抓取工具不必遵循meta指令,所以可以肯定的是,一些惡意的web機器人可以忽略你的指令。

以下是搜索引擎抓取工具在robots meta指令中使用的參數,這些參數不區分大小寫,但請注意,有些搜索引擎可能只遵循這些參數的子集,或者可能會略微不同地處理某些指令。

參數設定:

  • Noindex: 告訴搜索引擎不要索引該網頁。

  • Index: 告訴搜索引擎索引該網頁,不必特意加入此標籤,因為這是預設的。

  • Follow:即使網頁沒有被索引,網頁爬蟲也應該追蹤網頁上的所有鏈接,並將權限傳遞給連結的網頁。

  • Nofollow: 告訴網頁爬蟲也不要追蹤網頁上的所有鏈接,並將不可以將權限傳遞給連結的網頁。

  • Noimageindex: 告訴網頁爬蟲不要索引該網頁上的任何圖像。

  • None:相當於同時使用noindex和nofollow標籤。

  • Noarchive:搜索引擎不應該在SERP(搜尋結果頁面)上顯示暫存的連結到這個網頁。

  • Nocache:與noarchive相同,但只用於Internet Explorer和Firefox瀏覽器。

  • Nosnippet:告訴搜索引擎不要在SERP(搜尋結果頁面)上顯示該網頁的一個片段(即Meta描述)。

  • Noodyp/noydir [OBSOLETE]:阻止搜索引擎使用DMOZ的網頁描述作為此頁面的SERP(搜尋結果頁面)片段說明。但是,DMOZ在2017年初關站,這個標籤已經過時了。

  • Unavailable_after: 搜索引擎不應該在特定的日期之後索引該網頁。

機器人Meta指令的類型

有兩種主要類型的機器人Meta指令: meta robots tag和 x-robots-tag。任何可以在meta robots tag中使用的參數也可以在x-robots-tag中指定。

我們將在下面討論meta robots tag和 x-robots-tag指令。

Meta robots tag

Meta robots tag(俗稱“Meta標籤”或“robots 標籤”)是網頁HTML代碼的一部分,在網頁的部分以程式碼顯示:

程式碼範例

<meta name="robots" content="[PARAMETER]" >

標籤是標準的設定方式,也可以使用特定使用者代理的名稱來替換“robots”做為特定的搜尋。 例如,要專門針對Googlebot指定某個指令,您需要使用以下代碼:

<meta name="googlebot" content="[DIRECTIVE]" >

想要在網頁上使用多個Meta指令?只要他們是相同的“機器人”(使用者代理),多個指令可以包含在一個meta指令中 - 只需用逗號分隔即可。這是一個例子:

<meta name="robots" content="noimageindex," "nofollow," "nosnippet" >

這個標籤會告訴機器人不要索引網頁上的任何圖像、任何連結,或者當網頁出現在SERP(搜尋結果頁面)上時顯示網頁的說明片段。

如果您針對不同的搜索用戶代理使用不同的元機器人標籤指令,則需要為每個機器人使用不同的標籤。

X-robots-tag

meta robots tag允許您在網頁層級控制索引行為,但是x-robots-tag可以作為HTTP表頭的一部分並包含在內,以控制整個網頁的索引,以及網頁的特定元素。

儘管您可以使用x-robots-tag來執行與meta robots相同的索引指令,但是x-robots-tag指令提供了更多的靈活性和X-robots-tag所不具備的功能。 具體而言,x-robots-tag允許使用正規表達式,在非HTML文件上執行爬行網頁指令,並在全局層級使用參數。

要使用x-robots-tag,您需要訪問您網站的header .php,.htaccess或伺服器文件,從那裡,添加您的特定服務器配置的x-robots-tag標記,包括任何參數,此網站提供了一些很好的示例,解說如何使用這三種方式中的其中一種,x-robots-tag的概述。

以下是可能會使用到x-robots-tag狀況的範例:

  • 控制未用HTML撰寫的內容的索引(如Flash或視頻)。

  • 阻止網頁特定元素(如圖像或影片)的索引,而不是整個網頁本身

  • 如果您無法訪問網頁的HTML(特別是部分),或者您的網站使用了無法更改的全局層級標題。

  • 添加規則來判斷是否應將網頁編入索引(例如,如果用戶留言了20多次,則將網頁編入索引)

SEO與robots meta指令的最佳做法

  • 所有meta指令(robots或其他)都是在抓取URL時發現的,這意味著,如果robots.txt文件不允許抓取網址,則網頁上的任何meta指令(無論是在HTML還是在HTTP header)都將不會被看到,並且將被忽略。

  • 在大多數情況下,應該使用帶有參數“noindex,follow”的robots meta tag來限制抓取或索引,而不是使用robots.txt文件禁止。

  • 需要注意的是,惡意爬蟲很可能會完全忽略meta指令,因此這個協議並沒有形成一個好的安全機制,如果您有不想公開搜索的隱私訊息,請選擇更安全的方法(如密碼保護),以防止瀏覽者查看機密網頁。

  • 您不需要在同一頁面上同時使用Meta robots tag和X-robots-tag - 這樣做是多餘的。


資料來源:https://moz.com/learn/seo/robots-meta-directives

歡迎推廣本文,請務必連結(LINK)本文出處:新視野網頁設計