llms.txt 與 robots.txt 有何分別?GPTBot、OAI-SearchBot 與 Google-Extended 不應混為一談

Rec Moment:llms.txt 與 AI 爬蟲設定,先分清 GPTBot、OAI-SearchBot 與 Google-Extended 再寫規則

重點先看:llms.txt 是給語言模型閱讀的 Markdown 導覽,不是 robots.txt 的替代,也不能用來允許或禁止爬蟲。OpenAI 的 GPTBot 關乎訓練用途,OAI-SearchBot 關乎 ChatGPT 搜尋結果是否展示網站,兩者設定獨立。Google-Extended 是 robots.txt 裏的產品控制標記,按官方說明不影響 Google 搜尋的編入索引或排名。網站要不要允許 GPTBot,應由站長自行決定,本文只解釋差別。

檢查 llms.txt 與 AI 爬蟲設定四步:讀現有 robots.txt、分清訓練與搜尋標記、理解 llms.txt 只做導覽、再分別寫規則
先讀自己的 robots.txt,再決定要不要為訓練、搜尋和控制標記分開寫規則。

不少網站最近同時聽到兩個建議:一份說要公開 /llms.txt,讓人工智能更容易讀懂網站;另一份說要在 robots.txt 擋住 GPTBot,以免內容被用來訓練模型。兩件事常常被寫成同一項設定,結果是網站已經放了 llms.txt,但 robots.txt 仍只有 User-agent: *,或者擋了訓練用途的爬蟲,卻誤以為連搜尋展示一併退出。

以下按 llms.txt 規格頁、OpenAI 爬蟲說明、Perplexity 爬蟲說明,以及 Google 對 Google-Extended 和 robots.txt 的文件整理,並加入我們在2026年11月15日用 curl 讀取多個網站 robots.txt 與 llms.txt 的紀錄。GPTBot 開放或關閉屬網站主決定,本文只說明差別,不代替站長決策。

一、llms.txt 不是 robots.txt 的替代

llms.txt 是不是 robots.txt 的替代?

llms.txt 不是 robots.txt 的替代;前者是給語言模型和代理人閱讀的 Markdown 導覽檔,後者用來表達自動爬蟲可抓取哪些網址。llmstxt.org 把該檔說明為一份可放在網站根路徑或任一子路徑的 Markdown,用來提供背景、指引,並連到重點頁面。規格要求至少有一個 H1 寫上項目或網站名稱;其後可用 blockquote 寫一句摘要,再用 H2 列出連到詳細頁的清單。

規格亦寫明,llms.txt 與 robots.txt 用途不同:robots.txt 讓自動工具知道哪些抓取被視為可接受,例如搜尋索引爬蟲;llms.txt 較常在代理人需要資料時按需閱讀,用來指出從哪裏取得較乾淨的說明。檔案本身並不是 robots 協議,公開了也不保證內容會被引用。Google 對 robots.txt 的介紹則指出,該檔主要用來管理爬蟲流量,並不是把網頁從 Google 搜尋結果完全隱藏的途徑;若要阻止編入索引,應使用 noindex 或密碼保護,詳見robots.txt 與 noindex 的分別。

# 網站名稱

> 一句摘要,說明網站是做什麼的。

## 重點頁面

- [頁面名稱](https://example.com/page/): 簡短說明

sitemap 列出可供搜尋引擎發現的網址,llms.txt 則是給語言模型的精選導覽,兩者同樣不能互相取代。若網站正在整理 sitemap、canonical 或重新導向,可參考sitemap、canonical 與重新導向的排查。

二、GPTBot 與 OAI-SearchBot 要分開設定

擋住 GPTBot 會不會同時退出 ChatGPT 搜尋?

擋住 GPTBot 不會自動等於退出 ChatGPT 搜尋,因為 OpenAI 把 GPTBot 與 OAI-SearchBot 的設定分開,前者關乎訓練用途,後者關乎搜尋結果是否展示網站。官方表格寫明:GPTBot 用來抓取可能用於訓練其生成式人工智能基礎模型的內容,若 Disallow GPTBot,即表示該站內容不應用於這類訓練;OAI-SearchBot 則用來在 ChatGPT 的搜尋功能中展示網站。選擇退出 OAI-SearchBot 的網站,不會出現在 ChatGPT 搜尋答案中,但仍可能以導覽連結形式出現。

OpenAI 亦指出,若網站同時允許兩者,為避免重複抓取,系統可能只用其中一次抓取結果同時服務兩種用途。robots.txt 更新後,搜尋系統約需 24 小時才調整。官方建議,若希望網站出現在搜尋結果,可在 robots.txt 允許 OAI-SearchBot,並允許來自已公布 IP 範圍的請求。以下示例只示範分開書寫的格式,允許或禁止哪一個,須由網站主自行決定:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

另外還有 ChatGPT-User。OpenAI 說明它用於 ChatGPT 及 Custom GPT 中由使用者觸發的取頁,並非以自動方式爬行整個網站;由於行動由使用者發起,robots.txt 規則未必適用。官方明確寫道,ChatGPT-User 不用來決定內容會否出現在 Search,管理搜尋退出和自動抓取應使用 OAI-SearchBot。

Perplexity 也採取相近的拆法。其說明指 PerplexityBot 用來在 Perplexity 搜尋結果中展示和連結網站,不用來為人工智能基礎模型抓取訓練內容;Perplexity-User 則支援使用者提問時的取頁,而且由於由使用者請求,該取頁程式一般會忽略 robots.txt。兩者設定同樣獨立,系統約需 24 小時反映更改。

三、Google-Extended 不影響 Google 搜尋收錄

Google-Extended 會不會影響 Google 搜尋收錄?

按 Google 官方說明,Google-Extended 不影響網站在 Google 搜尋的編入索引,亦不用作 Google 搜尋的排名訊號,與訓練或 grounding 的偏好是分開處理的。Google 在常見爬蟲清單寫明:Google-Extended 沒有獨立的 HTTP 請求 user-agent 字串,抓取仍由現有的 Google 使用者代理進行,robots.txt 中的 User-agent 標記是作為控制用途。

官方把 Google-Extended 稱為獨立的產品標記,供網站管理已抓取內容可否用於訓練日後的 Gemini 模型(應用於 Gemini 應用程式及 Vertex AI 的 Gemini API),以及在 Gemini 應用程式和 Vertex AI 的 Grounding with Google Search 中作 grounding(即在提示時向模型提供來自 Google 搜尋索引的內容)。若要在 robots.txt 表達選擇退出,可針對該標記寫規則,例如:

User-agent: Google-Extended
Disallow: /

2026年10月,Google 搜尋中心網誌宣布計劃支援一項共用的人工智能訓練控制,讓網站可用 robots.txt 中的政策標記,一次表達對多家參與機構的訓練偏好,並預計與其他機構於2027年支援。網誌同時說明,現有的公司專屬控制會繼續有效,網站仍可透過 Google-Extended 等標記向個別開發者表達指示;若明確允許 Google-Extended,便有資格在 Gemini 應用程式的 grounding 回覆中出現並獲得點擊。計劃細節以該網誌及後續更新為準。

四、只有 User-agent: *,並未分別設定訓練與搜尋爬蟲

只有 User-agent: * 允許,是否等於已分別設定訓練與搜尋爬蟲?

只有 User-agent: * 一組允許規則,並不等於網站已分別就訓練用途和搜尋用途寫好爬蟲偏好,也未涵蓋 Google-Extended 此類控制標記。User-agent: * 是給尚未單獨命名的爬蟲一套共用規則;當站長需要對 GPTBot、OAI-SearchBot、PerplexityBot 或 Google-Extended 表達不同選擇時,應另寫對應的組別。沒有分項,代表網站尚未作出這些獨立選擇,而不是已經「預設全部開放訓練」或「預設全部退出搜尋」——實際效果取決於各家爬蟲如何解讀未具名規則,不能靠推測一次寫死。

檢查時,先直接讀 /robots.txt,再逐行查看有沒有上述標記。改完規則後,可用搜尋引擎的 robots 測試工具,或查伺服器日誌中的 user-agent 字串核對。網站名稱、favicon 等全站設定同樣由首頁出發,相關做法見Google 搜尋結果的網站名稱與 favicon;若同時維護中英版本,可一併檢查中英雙語網站的 hreflang 設定。

五、2026年11月15日實查:有 llms.txt,也不等於已分清爬蟲

2026年11月15日,我們用 curl 讀取了 recmoment.net、e11space.com、kwongtai.recmoment.net、noira.recmoment.net、cls.recmoment.net、grader.recmoment.net 及 kvibehk.com 的 /robots.txt,並以同樣方式請求 /llms.txt。結果如下:

自管及相關網站的 robots.txt/llms.txt 實查(2026-11-15,curl 跟隨重新導向)
網站llms.txtrobots.txt 有沒有分項 AI 爬蟲標記
recmoment.net有;請求 /llms.txt 會落到 /llms.txt/,內容為簡短 Markdown,有站名、一句摘要,Services 連到 /ai-seo/、/hub/、/audit/無。只有 User-agent: *,Disallow /wp-admin/(允許 admin-ajax.php),另列 sitemap
e11space.com有無。User-agent: * 允許 /,Disallow /wp-admin/ 及 /xmlrpc.php,另列 sitemap
kwongtai.recmoment.net有無。只有 User-agent: * 允許 /,另列 sitemap
noira.recmoment.net有無。只有 User-agent: * 允許 /,另列 sitemap
cls.recmoment.net有無。只有 User-agent: * 允許 /,另列 sitemap
grader.recmoment.net有無上述分項。User-agent: * 允許 /,另 Disallow /api/ 及 /v2/,並列 sitemap
kvibehk.com有有,並全部 Allow:GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended

這組結果最值得留意的,是「有 llms.txt」和「已分清訓練/搜尋爬蟲」並不是同一件事。recmoment.net 已經放了一份符合基本結構的 llms.txt,但 robots.txt 並沒有 GPTBot、OAI-SearchBot、PerplexityBot 或 Google-Extended 的分項;相反,kvibehk.com 在 robots.txt 為這些標記逐一寫了 Allow。以上只代表當日以 curl 讀到的公開檔案,後續如有更改,應再查網站當前版本。

六、要不要公開 llms.txt,先認清它做不到的事

要不要公開 llms.txt,它能否代替 robots 規則?

要不要公開 llms.txt 應由網站主按本身目標決定,本文不代替站長下必須開放或必須關閉的判斷,該檔亦不能代替 robots.txt 規則。如果希望語言模型較容易找到服務說明、指南或體檢入口,一份簡短、結構清楚的 llms.txt 可以作為導覽;如果關注的是訓練用途、ChatGPT 搜尋展示或 Gemini 的訓練和 grounding 偏好,仍然要在 robots.txt 分開處理。

同樣地,允許或禁止 GPTBot 也沒有適用於所有網站的唯一答案。有人希望內容被用來改進模型,有人只想出現在搜尋答案、但不希望用於訓練,也有人兩者都要限制。OpenAI 的文件把這些選擇分開,正是為了讓站長可以獨立取捨,而不是一次切換全部功能。決定之前,宜先寫下網站最在意的是訓練、搜尋展示,還是兩者,再對照現有 robots.txt 有沒有對應規則。

常見問題

擋了 GPTBot,ChatGPT 是否完全不會用我的網站?

不一定。OpenAI 把訓練用途的 GPTBot、搜尋用途的 OAI-SearchBot,以及由使用者觸發的 ChatGPT-User 分開說明。官方指 ChatGPT-User 用於使用者在對話中觸發的取頁,因其由使用者發起,robots.txt 規則未必適用,亦不用來決定內容會否出現在搜尋。

怎樣在 robots.txt 分別寫 GPTBot 和 OAI-SearchBot?

按 OpenAI 的說明,兩者使用獨立的 User-agent 標記。若要管理訓練用途,應針對 GPTBot 寫出允許或禁止;若要管理 ChatGPT 搜尋結果是否展示網站,應針對 OAI-SearchBot 另行寫規則。官方亦提醒,robots.txt 更新後,搜尋系統約需 24 小時才調整。

網站已有 llms.txt,還需要改 robots.txt 嗎?

兩份檔案回答不同問題。llms.txt 協助語言模型找到重點頁面和摘要,並不保證內容會被引用,也不能用來禁止或允許特定爬蟲。若要表達訓練或搜尋爬蟲的抓取偏好,仍須在 robots.txt 寫明相應的 User-agent 規則。

Google-Extended 是否等於一個會獨立來抓頁的爬蟲?

按 Google 對常見爬蟲的說明,Google-Extended 沒有獨立的 HTTP user-agent 字串,抓取仍由現有 Google 使用者代理進行,robots.txt 中的標記作為控制用途,用來管理已抓取內容可否用於 Gemini 訓練和 grounding。官方寫明該標記不影響 Google 搜尋編入索引,亦不用作排名訊號。

參考資料

Google 於2026年10月就共用訓練控制的說明,見Supporting a shared AI training control for websites;robots.txt 的基本用途見Google 搜尋中心:robots.txt 介紹。以上資料於2026年11月15日查閱。本文按官方說明及規格頁要點整理,並非影片逐字稿;第五節為我們自行以 curl 讀取公開檔案的紀錄。各項爬蟲規則以各機構最新公布為準。

先分清檔案用途,再決定寫哪些規則

llms.txt 解決的是「語言模型從哪裏讀懂這個網站」,robots.txt 解決的是「自動爬蟲可以抓什麼、站長想為訓練或搜尋表達什麼偏好」。兩者可以並存,但不能互相代替。若想把索引、爬蟲規則和全站技術項目一併檢查,可先用免費網站健康檢查取得初步報告,或參考SEO 基礎指南。Rec Moment 處理這類設定時,會先讀公開的 robots.txt 和 llms.txt,再按網站目標分開建議。本文沒有可核對的同分類客戶見證,故只保留查詢入口。

發佈留言

合作夥伴:E11 Space 觀塘活動場地 · 活動場地、會議室及共享辦公室租用|NOIRA Florist 香港花店 · 99 枝玫瑰、求婚花束及全港送花