robots.txt 擋咗頁面,網址仍可能出現在 Google?robots.txt 同 noindex 要分清

重點先睇:Google 官方明確指出,robots.txt 主要用來管理檢索流量,並不是把網頁排除於 Google 搜尋之外的機制。要避免網頁出現在搜尋結果,應使用 noindex 或密碼保護;而且網頁若被 robots.txt 封鎖,Google 便無法讀到頁面內的 noindex 指令,兩者不宜同時用在同一網址上。

很多網站負責人想把某個頁面「藏起來」,第一個想到的是在 robots.txt 加一行 Disallow。可是之後在 Google 搜尋仍然看到該網址,只是沒有描述文字,便覺得 Google 不守規矩。其實這是對 robots.txt 用途的常見誤解。本文按 Google 搜尋中心與 Search Console 的繁體中文說明,整理 robots.txt、noindex 與密碼保護三種做法的分別。

在網站體檢中,「robots.txt 與 noindex 有沒有互相抵消」是值得優先檢查的項目:測試頁、感謝頁、內部搜尋結果頁,常見的做法是 robots.txt 一擋了之,結果頁面既沒被檢索,也沒機會讓 Google 讀到 noindex。這類設定不會立刻出錯,卻可能在日後令不應公開的網址出現在搜尋結果。

官方怎樣說 robots.txt

Google 搜尋中心的 robots.txt 簡介寫明:robots.txt 檔案告訴搜尋引擎檢索器可以存取網站上哪些網址,主要用來避免網站被大量請求拖慢,「它不是讓網頁不被 Google 收錄的機制」;要讓網頁不出現在 Google,應使用 noindex 或密碼保護。

文件亦解釋,如果網頁被 robots.txt 封鎖,其網址仍可能出現在搜尋結果,只是沒有描述;若其他網頁以描述性文字連結到該頁,Google 即使不造訪頁面,也可能為該網址建立索引。換句話說,robots.txt 擋得住「進去看」,擋不住「從外面的連結得知這個網址存在」。

三種做法的分別

整理自 Google 搜尋中心〈robots.txt 簡介〉及 Search Console〈網頁索引報表〉說明;「適合情況」為本站編輯判斷。
做法控制什麼能否防止出現在搜尋結果適合情況
robots.txt(Disallow)Google 可否檢索該網址不能保證;網址仍可能因外部連結被收錄,只是沒有描述避免伺服器負載、不重要的重複頁面;不用來隱藏頁面
noindex 標記或回應標頭頁面可否建立索引可以,前提是 Google 能檢索並讀到該指令不想出現在搜尋結果、但允許被訪問的頁面
密碼保護/登入要求誰可以讀到頁面內容可以測試站、會員頁、內部資料

最常見的衝突:既 Disallow 又 noindex

Search Console 說明指出:Google 會為找到的任何網址建立索引,除非網頁含有 noindex 指令;若想封鎖網頁出現在搜尋結果,可用登入要求或 noindex。並且官方不建議用 robots.txt 規則封鎖網頁,原因是這樣做會使 Google 無法看到 noindex 指令。即是說,如果你已經在頁面加了 noindex,卻又同時在 robots.txt 禁止檢索,Google 便無從得知該頁要求不收錄。

在報表中,兩種情況會分別顯示為「網址遭到 robots.txt 封鎖」和「網址含有 noindex 標記」,後者表示 Google 檢索時遇到 noindex 因而沒有建立索引,若你確實不想收錄,這是正確結果。另有一個警告狀態叫「已建立索引,但遭到 robots.txt 封鎖」,官方說明:如果你想封鎖該頁,不應用 robots.txt,而是移除 robots.txt 封鎖並改用 noindex。

實務檢查步驟

第一步,列出你不希望出現在搜尋結果的頁面類型,例如感謝頁、測試頁、內部搜尋頁、後台登入頁。第二步,逐類判斷用什麼方法:需要保密的用登入保護;只是不想收錄的用 noindex,並確認 robots.txt 沒有封鎖它;只是不想讓 Google 浪費檢索資源的重複參數頁,才考慮 robots.txt。第三步,用 Search Console 的網址檢查工具查看「是否允許編入索引」,確認 Google 看到的是否與你預期一致。第四步,已經出現在搜尋結果的網址,需先讓 Google 能檢索到 noindex(即暫時解除 robots.txt 封鎖),待其重新檢索後才會被移出索引。

以上是一般建議,不同 CMS 的設定位置不同,WordPress、Wix 等平台通常設有「對搜尋引擎隱藏頁面」的選項,可先查閱平台文件。若頁面含有敏感資料,應以登入保護為先,而不是倚賴任何搜尋引擎設定。

常見問題

robots.txt 擋咗之後,網址為何仍然出現在 Google?

按 Google 官方說明,被 robots.txt 封鎖的網址若有其他網頁以描述性文字連結過去,Google 可能不造訪頁面也為該網址建立索引,所以結果會出現網址但沒有描述。

想不收錄,應該用 noindex 還是 robots.txt?

官方建議用 noindex 或密碼保護。robots.txt 主要管理檢索流量;而且被封鎖的頁面,Google 讀不到其中的 noindex 指令。

已經加了 noindex,仍然看到頁面在搜尋結果,為什麼?

常見原因是 Google 尚未重新檢索該頁,或頁面同時被 robots.txt 封鎖,令 Google 讀不到 noindex。先確認未被封鎖,再等待 Google 重新檢索。

Search Console 顯示「已建立索引,但遭到 robots.txt 封鎖」要不要處理?

官方說明視乎你想不想收錄:想封鎖,就移除 robots.txt 封鎖並改用 noindex;不想封鎖,就更新 robots.txt 解除封鎖。

參考資料

Google 搜尋中心:robots.txt 簡介;Search Console 說明:網頁索引報表(zh-HK)(2026-11-11 查閱)。本文按上述官方說明整理,並加入本站編輯的實務判斷,並非影片逐字稿。

想先了解自己網站目前有哪些技術和收錄線索,可以使用免費網站體檢,或閱讀SEO 入門與技術檢查。如需查詢具體網站狀況,歡迎 WhatsApp +852 9461 3231。本文沒有同分類可核對的客戶見證,故只提供查詢與工具入口。

留言

  1. […] 規格亦寫明,llms.txt 與 robots.txt 用途不同:robots.txt 讓自動工具知道哪些抓取被視為可接受,例如搜尋索引爬蟲;llms.txt 較常在代理人需要資料時按需閱讀,用來指出從哪裏取得較乾淨的說明。檔案本身並不是 robots 協議,公開了也不保證內容會被引用。Google 對 robots.txt 的介紹則指出,該檔主要用來管理爬蟲流量,並不是把網頁從 Google 搜尋結果完全隱藏的途徑;若要阻止編入索引,應使用 noindex 或密碼保護,詳見robots.txt 與 noindex 的分別。 […]

  2. […] canonical 配合,見www、https 與 canonical、301;若問題出在索引指令,見robots.txt 與 noindex及sitemap […]

發佈留言

合作夥伴:E11 Space 觀塘活動場地 · 活動場地、會議室及共享辦公室租用|NOIRA Florist 香港花店 · 99 枝玫瑰、求婚花束及全港送花