# ════════════════════════════════════════════════════════════ # 鋮馨租賃|robots.txt # ════════════════════════════════════════════════════════════ # # ⚠️ 結構鐵則(2026-08-02 修):爬蟲**只遵守最符合自己的那一組**, # 一旦某個 User-agent 有專屬群組,它會完全忽略 `User-agent: *` 的所有規則。 # 舊版把 Googlebot 與各 AI 爬蟲各開一組只寫 `Allow: /`,等於對它們 # 全面失效——`/tools-lab/`、`/scripts/` 一條都沒擋到。 # # 因此下方採「多行 User-agent 共用同一組規則」寫法。 # 要新增爬蟲,只加一行 `User-agent:` 到清單裡,**不要另開群組**。 # 一般搜尋引擎 + 明列的 AI/GEO 爬蟲(明列=建立 GEO 信號,不是放寬規則) User-agent: * User-agent: Googlebot User-agent: GPTBot User-agent: ChatGPT-User User-agent: OAI-SearchBot User-agent: PerplexityBot User-agent: ClaudeBot User-agent: anthropic-ai User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent Allow: / # 禁止索引敏感與後台目錄(如有) Disallow: /admin/ Disallow: /private/ Disallow: /tmp/ Disallow: /scripts/ Disallow: /*.json$ Disallow: /*.jsonl$ # 測試中工具區(不對外公開、未列入主站導覽;各頁另有 noindex 作第二道) Disallow: /tools-lab/ Disallow: /tools-lab.html # 已出現在索引的公開工具:讓爬蟲讀到頁面既有 noindex。 Allow: /tools-lab/deed-reader.html$ # 例外:儀表板與實價登錄的資料源必須放行。這些頁面 client-side fetch JSON, # 被擋住時爬蟲渲染出來的 radar-index/area-*/lvr-* 是空殼。 # robots.txt 以「最長匹配」判定,下列 Allow 比 /*.json$ 具體,會勝出。 Allow: /cx_data.json Allow: /cx_history.json Allow: /lvr-data/ # Sitemap 位置 Sitemap: https://cx468.com.tw/sitemap.xml