Robots Meta 指令 - Robots Meta Directives

Robots Meta 指令（有時也稱為“Meta標籤”）是一些程式語法，它們提供網頁爬蟲如何抓取或索引網頁內容的抓取指令，雖然robots.txt文件指令也可以幫網路爬蟲提供了如何抓取網站的建議，但Robots Meta指令提供了更為嚴格的，指導網頁爬蟲如何抓取和索引頁面的內容。

有兩種類型的Robots Meta 指令：屬於HTML頁面（如meta robots tag）的部分，以及Web服務器作為HTTP頭部（如 x-robots-tag）發送的指令。meta robots tag和x-robots-tag都可以使用相同的參數（即Meta提供的抓取或索引指令，例如上述示例中的“noindex”和“nofollow”），不同的是這些參數如何傳遞給網頁爬蟲。

Meta指令提供抓取工具並解釋，如何抓取和索引特定網頁上的內容，如果這些指令是被機器人搜索到，那麼參數就成為了規範爬蟲行為的強有力的建議，但是與robots.txt文件相同，抓取工具不必遵循meta指令，所以可以肯定的是，一些惡意的web機器人可以忽略你的指令。

以下是搜索引擎抓取工具在robots meta指令中使用的參數，這些參數不區分大小寫，但請注意，有些搜索引擎可能只遵循這些參數的子集，或者可能會略微不同地處理某些指令。

參數設定：

• Noindex: 告訴搜索引擎不要索引該網頁。

• Index: 告訴搜索引擎索引該網頁，不必特意加入此標籤，因為這是預設的。

• Follow:即使網頁沒有被索引，網頁爬蟲也應該追蹤網頁上的所有鏈接，並將權限傳遞給連結的網頁。

• Nofollow: 告訴網頁爬蟲也不要追蹤網頁上的所有鏈接，並將不可以將權限傳遞給連結的網頁。

• Noimageindex: 告訴網頁爬蟲不要索引該網頁上的任何圖像。

• None:相當於同時使用noindex和nofollow標籤。

• Noarchive:搜索引擎不應該在SERP(搜尋結果頁面)上顯示暫存的連結到這個網頁。

• Nocache:與noarchive相同，但只用於Internet Explorer和Firefox瀏覽器。

• Nosnippet:告訴搜索引擎不要在SERP(搜尋結果頁面)上顯示該網頁的一個片段（即Meta描述）。

• Noodyp/noydir [OBSOLETE]:阻止搜索引擎使用DMOZ的網頁描述作為此頁面的SERP(搜尋結果頁面)片段說明。但是，DMOZ在2017年初關站，這個標籤已經過時了。

• Unavailable_after: 搜索引擎不應該在特定的日期之後索引該網頁。

機器人Meta指令的類型

有兩種主要類型的機器人Meta指令： meta robots tag和 x-robots-tag。任何可以在meta robots tag中使用的參數也可以在x-robots-tag中指定。

我們將在下面討論meta robots tag和 x-robots-tag指令。

Meta robots tag

Meta robots tag（俗稱“Meta標籤”或“robots 標籤”）是網頁HTML代碼的一部分，在網頁的部分以程式碼顯示：

程式碼範例

標籤是標準的設定方式，也可以使用特定使用者代理的名稱來替換“robots”做為特定的搜尋。 例如，要專門針對Googlebot指定某個指令，您需要使用以下代碼：

想要在網頁上使用多個Meta指令？只要他們是相同的“機器人”（使用者代理），多個指令可以包含在一個meta指令中 - 只需用逗號分隔即可。這是一個例子：

這個標籤會告訴機器人不要索引網頁上的任何圖像、任何連結，或者當網頁出現在SERP(搜尋結果頁面)上時顯示網頁的說明片段。

如果您針對不同的搜索用戶代理使用不同的元機器人標籤指令，則需要為每個機器人使用不同的標籤。

X-robots-tag

meta robots tag允許您在網頁層級控制索引行為，但是x-robots-tag可以作為HTTP表頭的一部分並包含在內，以控制整個網頁的索引，以及網頁的特定元素。

儘管您可以使用x-robots-tag來執行與meta robots相同的索引指令，但是x-robots-tag指令提供了更多的靈活性和X-robots-tag所不具備的功能。 具體而言，x-robots-tag允許使用正規表達式，在非HTML文件上執行爬行網頁指令，並在全局層級使用參數。

要使用x-robots-tag，您需要訪問您網站的header .php，.htaccess或伺服器文件，從那裡，添加您的特定服務器配置的x-robots-tag標記，包括任何參數，此網站提供了一些很好的示例，解說如何使用這三種方式中的其中一種，x-robots-tag的概述。

以下是可能會使用到x-robots-tag狀況的範例：

• 控制未用HTML撰寫的內容的索引（如Flash或視頻）。

• 阻止網頁特定元素（如圖像或影片）的索引，而不是整個網頁本身

• 如果您無法訪問網頁的HTML（特別是部分），或者您的網站使用了無法更改的全局層級標題。

• 添加規則來判斷是否應將網頁編入索引（例如，如果用戶留言了20多次，則將網頁編入索引）

SEO與robots meta指令的最佳做法

• 所有meta指令（robots或其他）都是在抓取URL時發現的，這意味著，如果robots.txt文件不允許抓取網址，則網頁上的任何meta指令（無論是在HTML還是在HTTP header）都將不會被看到，並且將被忽略。

• 在大多數情況下，應該使用帶有參數“noindex，follow”的robots meta tag來限制抓取或索引，而不是使用robots.txt文件禁止。

• 需要注意的是，惡意爬蟲很可能會完全忽略meta指令，因此這個協議並沒有形成一個好的安全機制，如果您有不想公開搜索的隱私訊息，請選擇更安全的方法（如密碼保護），以防止瀏覽者查看機密網頁。

• 您不需要在同一頁面上同時使用Meta robots tag和X-robots-tag - 這樣做是多餘的。

資料來源：https://moz.com/learn/seo/robots-meta-directives

歡迎推廣本文，請務必連結(LINK)本文出處：新視野網頁設計