Robots 控制

概覽

Robots 控制 用來管理預設 robots meta 輸出，以及你額外加入的 robots.txt 規則。

後台路徑：Airygen SEO -> 設定 -> Robots 控制

這個模組最適合先建立一套安全的全站預設值，再只對特殊頁面建立例外規則。

設定

此頁面包含 設定 與 robots.txt。

設定

這個區塊用來設定網站平常的 robots 行為。

• 啟用預設 robots meta 用來開啟或關閉全站預設 robots 輸出。
• 索引設定 可選擇 使用預設值、索引 或 不索引。
• 跟隨設定 可選擇 使用預設值、跟隨 或 不跟隨。
• 圖片預覽上限 可選擇 使用預設值、大型（最佳品質）、標準 或 無。
• 影片預覽上限 可選擇 使用預設值、無限制、30 秒、60 秒 或 停用影片預覽。
• 額外指令 包含 noarchive、nosnippet、noimageindex 與 notranslate 等切換選項。
• 自訂指令 可讓你加入以逗號分隔、且內建控制項未涵蓋的指令。
• 預覽 robots meta 值 會顯示實際將輸出的 robots meta 字串。

robots.txt

當你需要超出 meta 標籤範圍的爬蟲規則時，請使用這個區塊。

• 額外規則 可讓你在產生的 robots.txt 中加入額外行。
• 預覽網址 會提供直接檢查正式 robots.txt 輸出的連結。

編輯器面板

編輯器面板可讓你在個別文章上覆寫預設值。

• 預覽 會顯示目前這篇文章的 robots 結果。
• 使用預設值 會讓這篇文章沿用全站規則。
• 使用自訂資料 會開啟單篇文章層級的指令設定。
• 索引指令 可選擇 繼承預設值、索引 或 不索引。
• 連結跟隨指令 可選擇 繼承預設值、跟隨 或 不跟隨。
• 單篇文章控制也包含媒體預覽限制、額外指令與 自訂指令 欄位。

如何使用

1. 開啟 Airygen SEO -> 設定 -> Robots 控制。
2. 如果你希望 Airygen SEO 輸出全站 robots meta 標籤，請先在 設定 中開啟 啟用預設 robots meta。
3. 選擇預設的 索引設定 與 跟隨設定 行為，並只在網站確實需要時才設定 圖片預覽上限 與 影片預覽上限。
4. 開啟符合政策需求的 額外指令，例如 noarchive 或 nosnippet，若仍有其他需求，再填入 自訂指令。
5. 檢查 預覽 robots meta 值，確認最後輸出的 robots 字串就是你真正想要的內容。
6. 在 robots.txt 中加入需要的 額外規則，然後開啟 預覽網址，確認正式檔案內容正確。
7. 儲存模組，並只在需要不同索引規則的頁面上使用編輯器面板覆寫。

儲存後請確認以下項目：

• 全站 robots meta 字串符合你的預設策略。
• robots.txt 只包含你確定要公開的額外規則。
• 大多數頁面仍使用全站預設，而不是出現不必要的例外覆寫。
• 有單篇文章覆寫的特殊頁面，確實使用了你選擇的指令。

SEO 效益

清楚的 robots 規則能幫助你控制哪些頁面應被索引、搜尋結果可顯示哪些預覽內容，以及爬蟲應如何理解網站中的特殊區域。良好的預設值也能減少誤設索引規則的風險。

使用情境

具有低價值工具頁的網站

調整前：搜尋引擎可能收錄一些不適合作為進站頁的頁面，例如內容過薄的工具頁或篩選結果頁。

調整後：網站管理者維持乾淨的預設政策，並只在低價值頁面需要 不索引 時才做個別覆寫。

需要特殊爬蟲規則的網站

調整前：團隊需要加入額外爬蟲規則，但這些規則分散在手動編輯中，難以審查。

調整後：Robots 控制 會把 robots meta 預設值與 robots.txt 追加規則集中在同一個地方，讓非開發者也更容易管理。

常見問題

多數頁面都應該使用預設 robots 設定嗎？

是的。大多數情況下，一套乾淨的預設值會比大量單篇例外規則更安全。

Robots meta 和 robots.txt 有什麼差別？

Robots meta 控制的是頁面層級的索引與預覽行為，robots.txt 則提供檔案層級的爬蟲指示。

什麼時候才需要用 自訂指令？

只有在內建控制項沒有涵蓋你需要的指令時才使用。多數使用者都可以把這個欄位留空。