重點先睇:Google 官方明確指出,robots.txt 主要用來管理檢索流量,並不是把網頁排除於 Google 搜尋之外的機制。要避免網頁出現在搜尋結果,應使用 noindex 或密碼保護;而且網頁若被 robots.txt 封鎖,Google 便無法讀到頁面內的 noindex 指令,兩者不宜同時用在同一網址上。
很多網站負責人想把某個頁面「藏起來」,第一個想到的是在 robots.txt 加一行 Disallow。可是之後在 Google 搜尋仍然看到該網址,只是沒有描述文字,便覺得 Google 不守規矩。其實這是對 robots.txt 用途的常見誤解。本文按 Google 搜尋中心與 Search Console 的繁體中文說明,整理 robots.txt、noindex 與密碼保護三種做法的分別。
在網站體檢中,「robots.txt 與 noindex 有沒有互相抵消」是值得優先檢查的項目:測試頁、感謝頁、內部搜尋結果頁,常見的做法是 robots.txt 一擋了之,結果頁面既沒被檢索,也沒機會讓 Google 讀到 noindex。這類設定不會立刻出錯,卻可能在日後令不應公開的網址出現在搜尋結果。
官方怎樣說 robots.txt
Google 搜尋中心的 robots.txt 簡介寫明:robots.txt 檔案告訴搜尋引擎檢索器可以存取網站上哪些網址,主要用來避免網站被大量請求拖慢,「它不是讓網頁不被 Google 收錄的機制」;要讓網頁不出現在 Google,應使用 noindex 或密碼保護。
文件亦解釋,如果網頁被 robots.txt 封鎖,其網址仍可能出現在搜尋結果,只是沒有描述;若其他網頁以描述性文字連結到該頁,Google 即使不造訪頁面,也可能為該網址建立索引。換句話說,robots.txt 擋得住「進去看」,擋不住「從外面的連結得知這個網址存在」。
三種做法的分別
| 做法 | 控制什麼 | 能否防止出現在搜尋結果 | 適合情況 |
|---|---|---|---|
| robots.txt(Disallow) | Google 可否檢索該網址 | 不能保證;網址仍可能因外部連結被收錄,只是沒有描述 | 避免伺服器負載、不重要的重複頁面;不用來隱藏頁面 |
| noindex 標記或回應標頭 | 頁面可否建立索引 | 可以,前提是 Google 能檢索並讀到該指令 | 不想出現在搜尋結果、但允許被訪問的頁面 |
| 密碼保護/登入要求 | 誰可以讀到頁面內容 | 可以 | 測試站、會員頁、內部資料 |
最常見的衝突:既 Disallow 又 noindex
Search Console 說明指出:Google 會為找到的任何網址建立索引,除非網頁含有 noindex 指令;若想封鎖網頁出現在搜尋結果,可用登入要求或 noindex。並且官方不建議用 robots.txt 規則封鎖網頁,原因是這樣做會使 Google 無法看到 noindex 指令。即是說,如果你已經在頁面加了 noindex,卻又同時在 robots.txt 禁止檢索,Google 便無從得知該頁要求不收錄。
在報表中,兩種情況會分別顯示為「網址遭到 robots.txt 封鎖」和「網址含有 noindex 標記」,後者表示 Google 檢索時遇到 noindex 因而沒有建立索引,若你確實不想收錄,這是正確結果。另有一個警告狀態叫「已建立索引,但遭到 robots.txt 封鎖」,官方說明:如果你想封鎖該頁,不應用 robots.txt,而是移除 robots.txt 封鎖並改用 noindex。
實務檢查步驟
第一步,列出你不希望出現在搜尋結果的頁面類型,例如感謝頁、測試頁、內部搜尋頁、後台登入頁。第二步,逐類判斷用什麼方法:需要保密的用登入保護;只是不想收錄的用 noindex,並確認 robots.txt 沒有封鎖它;只是不想讓 Google 浪費檢索資源的重複參數頁,才考慮 robots.txt。第三步,用 Search Console 的網址檢查工具查看「是否允許編入索引」,確認 Google 看到的是否與你預期一致。第四步,已經出現在搜尋結果的網址,需先讓 Google 能檢索到 noindex(即暫時解除 robots.txt 封鎖),待其重新檢索後才會被移出索引。
以上是一般建議,不同 CMS 的設定位置不同,WordPress、Wix 等平台通常設有「對搜尋引擎隱藏頁面」的選項,可先查閱平台文件。若頁面含有敏感資料,應以登入保護為先,而不是倚賴任何搜尋引擎設定。
常見問題
robots.txt 擋咗之後,網址為何仍然出現在 Google?
按 Google 官方說明,被 robots.txt 封鎖的網址若有其他網頁以描述性文字連結過去,Google 可能不造訪頁面也為該網址建立索引,所以結果會出現網址但沒有描述。
想不收錄,應該用 noindex 還是 robots.txt?
官方建議用 noindex 或密碼保護。robots.txt 主要管理檢索流量;而且被封鎖的頁面,Google 讀不到其中的 noindex 指令。
已經加了 noindex,仍然看到頁面在搜尋結果,為什麼?
常見原因是 Google 尚未重新檢索該頁,或頁面同時被 robots.txt 封鎖,令 Google 讀不到 noindex。先確認未被封鎖,再等待 Google 重新檢索。
Search Console 顯示「已建立索引,但遭到 robots.txt 封鎖」要不要處理?
官方說明視乎你想不想收錄:想封鎖,就移除 robots.txt 封鎖並改用 noindex;不想封鎖,就更新 robots.txt 解除封鎖。
參考資料
Google 搜尋中心:robots.txt 簡介;Search Console 說明:網頁索引報表(zh-HK)(2026-11-11 查閱)。本文按上述官方說明整理,並加入本站編輯的實務判斷,並非影片逐字稿。
想先了解自己網站目前有哪些技術和收錄線索,可以使用免費網站體檢,或閱讀SEO 入門與技術檢查。如需查詢具體網站狀況,歡迎 WhatsApp +852 9461 3231。本文沒有同分類可核對的客戶見證,故只提供查詢與工具入口。
發佈留言