低質量頁面如何使用 Noindex 和 Nofollow

網站上無意義的頁面，低質量或特殊的頁面，可以設置機器人元標記告知谷歌蜘蛛這個頁面不接受爬取或索引，在頁面 使用meta robot nofollow或noindex標記。

兩個主要設置：

index / noindex：是否允許爬蟲索引頁面，指示 Google 是否要在 Google 搜索結果中顯示此網頁

follow / nofollow：是否允許爬蟲爬取頁面，是否允許跟踪頁面上的任何鏈接

添加方法：

在 < head > 裡添加

1. 告知所有抓取工具這個頁面不需要抓取和索引：

< meta name="robots" content="noindex, nofollow" >

2. 告知所有抓取工具這個頁面需要抓取和索引：

< meta name="robots" content="index, follow" >

3. 告知所有抓取工具這個頁面不允許索引，但可以抓取頁面上的任何鏈接：

< meta name="robots" content="noindex, follow" >

4. 告知所有抓取工具這個頁面允許索引，但不可以抓取頁面上的任何鏈接：

< meta name="robots" content="index, nofollow" >

Tips: 默認情況下，兩者都設置為“true”，因此如果您對此沒有問題，則無需設置此標籤。

備註：

1. name 屬性的值 (robots) 指定此指令適用於所有抓取工具,包括搜索引擎和非搜索引擎抓取工具。如需針對特定的抓取工具，可將 name 屬性的 robots 值替換為這個抓取工具的名稱。如：

只想阻止 Google 將您的網頁編入索引，可撰寫為：

< meta name="googlebot" content="noindex" >

2. 如需屏蔽非搜索抓取工具（例如 AdsBot-Google），可添加針對具體抓取工具的指令，例如 ：

< meta name="AdsBot-Google" content="noindex" >。

3. robots nofollow與鏈接級別屬性不同，鏈接級別nofollow屬性會阻止 Googlebot 跟踪單個鏈接，使用 rel=”nofollow”

4. disallow: 應用在robots.txt中，告訴搜索引擎不要抓取這個網頁，但這並不能保證該頁面不會被索引。

5. Google 抓取工具（用戶代理）：

Googlebot（桌面版）：Googlebot

Googlebot（智能手機版）：Googlebot

Googlebot Video：Googlebot-Video 或 Googlebot

Googlebot News：Googlebot-News 或 Googlebot

Googlebot Image：Googlebot-Image 或 Googlebot

AdsBot: 檢查桌面版網頁廣告質量。 (會忽略 * 通配符)

AdsBot Mobile Web Android: AdsBot-Google-Mobile 檢查 Android 網頁廣告質量。 (會忽略 * 通配符。)

AdsBot Mobile Web: AdsBot-Google-Mobile 檢查 iPhone 網頁廣告質量。 (會忽略 * 通配符)

AdSense: Mediapartners-Google

Mobile AdSense: Mediapartners-Google

Mobile Apps Android: 檢查 Android 應用頁面廣告質量。遵循 AdsBot-Google 漫遊器規則。 (會忽略 * 通配符)

APIs-Google: APIs-Google

Google StoreBot: Storebot-Google

Google Favicon: Googlebot-Image / Googlebot

Google Read Aloud: Google-Read-Aloud(不會遵循 robots.txt 規則)

Feedfetcher: FeedFetcher-Google(不會遵循 robots.txt 規則)

Google 網站驗證工具：Google-Site-Verification（會忽略 robots.txt 規則）