什麼是網頁設計?背景
認識網頁設計Q & A

認識網頁設計 - SEO搜尋引擎最佳化

使用<META>標籤來阻擋搜尋蜘蛛檢索網頁

使用標籤來阻擋搜尋蜘蛛檢索網頁

你可以使用特定的標籤去告知搜尋引擎機器人,不要去檢索特定的網頁內容。

如果你想要知道,如何去阻擋網頁蜘蛛檢索你全部的網站,可以閱讀這篇文章(如何使用robots.txt阻止搜尋引擎爬(抓取)你的網站?)

你也可以使用相同的標籤,來命令搜尋機器人不要去掃描網頁以及追蹤網頁連結。

這是一個很好用的標籤,即使你只想嘗試去限制整個網站的一個網頁。

在HTML程式碼中,'no follow, no index'是基本的:

若要複製使用請將<>改為半形。

<html> <head> <title>...</title> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head> </html>

當使用標籤時,有三個重點部分是需要牢記的。

1.如果他們願意,網路機器人可以忽略標籤,會忽略標籤大多是不良的網路機器人,他們會掃描網路安全漏洞並利用它,或者是使用電子郵件收割機,讓濫發郵件者抓取E-mail。

2.NOFOLLOW 指令只是用於網頁上的連結,如果搜尋機器人找到其它網頁的連結,並且沒有使用NOFOLLOW,搜尋機器人會直接到達這個網頁。

3.在這裡的NOFOLLOW標籤,是不同於rel=”nofollow”屬性,你可以設定在<a href> 標籤裡。

撰寫給搜尋機器人看的標籤

像其它標籤一樣使用在HTML,他們應該被放置在HTML程式碼的部分,就如同範例上。

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">

讓我們依照上面的例子再接再厲。

1.NAME屬性是使用”ROBOTS”。


2.CONTENT屬性有四種不同的參數可以設定:

逗號分開參數是允許的,但是只有某些組合是有意義的,如果沒有使用標籤,對搜尋機器人的預設而言,是使用INDEX,FOLLOW的,所以你不需要去指定,還是可以被抓取到。

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

如果你需要進一步的了解,如何阻擋搜尋機器人檢索你的網站,你可以觀看這篇文章(如何使用robots.txt阻止搜尋引擎爬(抓取)你的網站?)


歡迎推廣本文,請務必連結(LINK)本文出處