机器人控制

概览

机器人控制 用来管理默认 robots meta 输出，以及你额外加入的 robots.txt 规则。

后台路径：Airygen SEO -> 设置 -> 机器人控制

这个模块最适合先建立一套安全的全站默认值，再只对特殊页面建立例外规则。

设置

此页面包含 设置 与 robots.txt。

设置

这个区块用来设置网站平常的 robots 行为。

• 启用默认 robots meta 用来开启或关闭全站默认 robots 输出。
• 索引设置 可选择 使用默认值、索引 或 不索引。
• 跟随设置 可选择 使用默认值、跟随 或 不跟随。
• 图片预览上限 可选择 使用默认值、大型（最佳质量）、标准 或 无。
• 视频预览上限 可选择 使用默认值、无限制、30 秒、60 秒 或 停用视频预览。
• 额外指令 包含 noarchive、nosnippet、noimageindex 与 notranslate 等切换选项。
• 自定义指令 可让你加入以逗号分隔、且内建控制项未涵盖的指令。
• 预览 robots meta 值 会显示实际将输出的 robots meta 字符串。

robots.txt

当你需要超出 meta 标签范围的爬虫规则时，请使用这个区块。

• 附加规则 可让你在生成的 robots.txt 中加入额外行。
• 预览网址 会提供直接检查正式 robots.txt 输出的链接。

编辑器面板

编辑器面板可让你在个别文章上覆盖默认值。

• 预览 会显示当前这篇文章的 robots 结果。
• 使用默认值 会让这篇文章沿用全站规则。
• 使用自定义数据 会开启单篇文章层级的指令设置。
• 索引指令 可选择 继承默认值、索引 或 不索引。
• 链接跟随指令 可选择 继承默认值、跟随 或 不跟随。
• 单篇文章控制也包含媒体预览限制、额外指令与 自定义指令 字段。

如何使用

1. 打开 Airygen SEO -> 设置 -> 机器人控制。
2. 如果你希望 Airygen SEO 输出全站 robots meta 标签，请先在 设置 中开启 启用默认 robots meta。
3. 选择默认的 索引设置 与 跟随设置 行为，并只在网站确实需要时才设置 图片预览上限 与 视频预览上限。
4. 开启符合策略需求的 额外指令，例如 noarchive 或 nosnippet，若仍有其他需求，再填入 自定义指令。
5. 检查 预览 robots meta 值，确认最后输出的 robots 字符串就是你真正想要的内容。
6. 在 robots.txt 中加入需要的 附加规则，然后打开 预览网址，确认正式文件内容正确。
7. 保存模块，并只在需要不同索引规则的页面上使用编辑器面板覆盖。

保存后请确认以下项目：

• 全站 robots meta 字符串符合你的默认策略。
• robots.txt 只包含你确定要公开的附加规则。
• 大多数页面仍使用全站默认值，而不是出现不必要的例外覆盖。
• 有单篇文章覆盖的特殊页面，确实使用了你选择的指令。

SEO 效益

清楚的 robots 规则能帮助你控制哪些页面应被索引、搜索结果可显示哪些预览内容，以及爬虫应如何理解网站中的特殊区域。良好的默认值也能减少误设索引规则的风险。

使用场景

具有低价值工具页的网站

调整前：搜索引擎可能收录一些不适合作为进入页的页面，例如内容过薄的工具页或筛选结果页。

调整后：网站管理员维持干净的默认策略，并只在低价值页面需要 不索引 时才做个别覆盖。

需要特殊爬虫规则的网站

调整前：团队需要加入额外爬虫规则，但这些规则分散在手动编辑中，难以审查。

调整后：机器人控制 会把 robots meta 默认值与 robots.txt 追加规则集中在同一个地方，让非开发者也更容易管理。

常见问题

多数页面都应该使用默认 robots 设置吗？

是的。大多数情况下，一套干净的默认值会比大量单篇例外规则更安全。

Robots meta 和 robots.txt 有什么差别？

Robots meta 控制的是页面层级的索引与预览行为，robots.txt 则提供文件层级的爬虫指示。

什么时候才需要用 自定义指令？

只有在内建控制项没有涵盖你需要的指令时才使用。多数用户都可以把这个字段留空。