Robots标签收录管理避坑指南→省2小时+成功率翻倍!

一个网站的内容，如果想在搜索引擎上被大家找到，或者有些私密内容不想被找到，那就得有个“导航员”来告诉搜索引擎的“机器人”（也就是爬虫）该怎么做。这个“导航员”，就是我们今天要讲的“robots元标签”（robots meta tag）。

这玩意儿就像网页里的一段小代码，藏在网页的<head>区域里。它的作用可大了，能给搜索引擎爬虫下达明确指令：这个页面该不该收录到搜索结果里？这个页面上的链接该不该跟着爬？

比如说，你可能有些内部的推广页面，或者临时的活动页面，不希望它出现在公共搜索结果里。这时候，你就可以用robots元标签告诉搜索引擎“别收录我！”反过来，如果你网站里某个部分内容很重要，但又怕爬虫绕过，同样可以通过它来引导。

它的核心目的，就是帮你优化网站和搜索引擎的互动方式。让那些你希望大家看到的，能顺畅地出现在搜索结果中；而那些私密的、不太相关的，则能悄悄地“隐身”。

常见的robots元标签指令示例

为了让大家更直观地理解，我们来看几个实战中常用的例子：

不收录，不追踪链接 (Noindex, Nofollow):
<meta name="robots" content="noindex, nofollow">
这条指令的意思是：搜索引擎的爬虫啊，你别把我这个页面的内容收录到搜索结果里（也就是搜不到我），也别跟着我页面上的任何链接爬行。
收录，但不追踪链接 (Index, Nofollow):
<meta name="robots" content="index, nofollow">
这条指令则告诉爬虫：你可以收录我的页面，让我在搜索结果里露脸，但是，别跟着我页面上的链接走。
不收录，但追踪链接 (Noindex, Follow):
<meta name="robots" content="noindex, follow">
这条指令是说：我的页面内容别收录，但是页面上的链接你都可以跟着爬。

Meta Robots 与 Robots.txt：分工明确的两兄弟

在控制搜索引擎爬虫如何与你的网站互动这件事上，meta robots标签和robots.txt文件是两个非常关键的工具。虽然它们都能影响爬虫行为，但作用方式和侧重点却大不相同。搞清楚它们的区别，对咱们做跨境电商的来说，是优化网站可见度的基础。

Meta Robots标签

定义： 它是一个HTML元素，直接嵌入到单个网页的<head>部分。
功能： 对单个页面给出具体的指令。比如，告诉搜索引擎“不要收录这个页面”，或者“不要跟踪这个页面上的链接”。
灵活性： 颗粒度非常细，你可以对每个页面设置不同的指令，灵活度极高。
常见指令： noindex（不收录）、nofollow（不追踪链接）、noarchive（不缓存）、nosnippet（不显示摘要）。

Robots.txt文件

定义： 一个放在网站根目录下的文本文件。
功能： 给搜索引擎爬虫提供“指导方针”，告诉它们网站的哪些部分可以访问，哪些部分不能访问。但请注意，它仅仅是阻止爬虫访问，并不能阻止页面被搜索引擎收录。
灵活性： 作用范围更广，通常是控制整个目录或网站的某个区域的访问权限，而不是针对单个页面。
常见指令： Disallow（阻止爬取特定URL）、Allow（允许爬取，通常是在更宽泛的Disallow指令后使用）。

核心区别

作用范围： Meta robots标签管的是单个页面，而robots.txt文件管的是目录或整个网站。
目的： 两者都能阻止爬取，但只有meta robots标签能阻止页面的收录。如果一个页面被robots.txt阻止了爬取，但其他网站有链接指向它，这个页面仍然可能被搜索引擎收录（虽然没有内容）。
强制性： robots.txt更多是一种“君子协定”，不是所有爬虫都百分百遵守（尽管主流搜索引擎都会尊重）。而meta robots标签的指令，主流搜索引擎通常会严格执行。
可见性： robots.txt文件是公开可见的（比如 www.你的域名.com/robots.txt），任何人都能查看你希望爬虫避开的区域。而meta robots标签则藏在页面代码里，不那么直接显眼。

实战中如何运用？

在实战中，这两个工具常常需要配合使用，但切记不能冲突。比如，如果你通过robots.txt阻止了一个页面的爬取，那搜索引擎爬虫根本就无法访问这个页面，自然也看不到页面里的meta robots标签。所以，如何策略性地协调两者，是咱们做SEO成功的关键。

为何Robots元标签对SEO如此重要？

搜索引擎优化（SEO）的核心，就是确保你的网站内容能在搜索引擎结果页（SERP）中获得应有的曝光。要达到这个目标，搜索引擎必须能够正确访问、理解并收录你的内容。而robots元标签，在这个过程中扮演着至关重要的角色，它引导着搜索引擎如何处理你网站上的特定页面。以下是robots元标签对SEO至关重要的几个原因：

对收录的精细化控制：
- robots元标签允许网站主对哪些页面被收录、哪些不被收录进行非常精细的控制。这对于那些你不希望出现在搜索结果中的页面尤其有用，比如内部搜索结果页、私人页面、或者临时的落地页。
避免重复内容问题：
- 搜索引擎的目标是为用户提供最好、最相关的内容。当网站有多个页面内容相似或重复时，会稀释内容的相关性，甚至可能导致惩罚或排名下降。通过robots元标签，你可以指示搜索引擎不收录特定页面，确保只有最相关、最独特的内容获得排名。
管理爬虫预算：
- 搜索引擎会为每个网站分配一定的资源用于爬取，这被称为“爬虫预算”。通过使用robots元标签阻止不重要或不相关页面的收录，你可以确保搜索引擎将更多的资源用于爬取和收录你网站上那些真正重要的部分，提升爬取效率。
控制链接权重流动：
- nofollow指令在robots元标签中，允许网站主控制“链接权重”（link juice）在网站内部的流动。通过阻止搜索引擎跟踪某些页面上的链接，你可以更好地将内部链接权重引导到那些最重要的页面上。
提升用户体验：
- 确保只有相关页面出现在搜索结果中，能够显著提升用户体验。用户更容易找到他们想要的信息，也会将你的网站视为一个有价值的资源。
保护敏感信息：
- 如果你网站上有些信息不希望公开显示在搜索结果中（比如独家优惠、内部数据或测试页面），robots元标签能确保这些页面保持私密。
灵活性和快速实施：
- 与服务器级别的指令或修改robots.txt文件不同，添加或修改robots元标签相对快速，并且不需要服务器访问权限。这使得它成为SEO专业人士的一种敏捷解决方案。
适应搜索引擎变化：
- 搜索引擎在不断发展，它们解释和执行指令的方式也可能发生变化。robots元标签提供了适应性，确保网站管理员可以轻松修改指令，以适应新的最佳实践。

总而言之，robots元标签是SEO工具箱中的一个强大武器。通过让网站主能够直接与搜索引擎沟通，告诉它们如何处理自己的内容，它确保了SEO工作能够高效且有效地进行。正确使用它，可以带来更好的排名、更高的可见度以及整体的搜索结果表现提升。

Robots元标签的“属性”和“值”详解

一个完整的robots元标签，主要由两部分构成：name属性和content属性。

name属性与用户代理（user-agent）值

name属性的作用，是指定这条指令是给哪个“用户代理”（通常指搜索引擎爬虫）看的。每个搜索引擎爬虫都有自己独特的用户代理名称，比如谷歌的爬虫叫“Googlebot”，必应的叫“Bingbot”。

例如：

<meta name="robots" content="noindex">

上面这个例子里，name属性设置为"robots"，这表示这条指令对所有搜索引擎爬虫都有效。如果你想只针对某个特定的爬虫，就把"robots"替换成那个爬虫的用户代理名称。

content属性与爬取/收录指令

content属性包含了给爬虫的具体指令。这些指令指导搜索引擎在这个特定页面上应该采取什么行动，或者避免什么行动。接下来，我们来详细了解这些指令：

all
这条指令允许爬虫执行所有操作——可以收录页面，也可以追踪链接。如果页面没有设置其他指令，all就是默认行为。
noindex
这条指令告诉搜索引擎不要收录这个页面。结果就是，这个页面不会出现在搜索结果中。
nofollow
指示搜索引擎不要追踪这个页面上的链接。但是，页面本身仍然可以被收录。
none
noindex和nofollow的组合指令。页面既不会被收录，页面上的链接也不会被追踪。
noarchive
阻止搜索引擎存储这个页面的缓存版本。
notranslate
告知搜索引擎不要在搜索结果中提供这个页面的翻译版本。
noimageindex
指示搜索引擎不要收录页面中的图片。
unavailable_after:[日期]
告诉搜索引擎在这个指定日期之后，就不要在搜索结果中显示这个页面了。
nosnippet
阻止搜索引擎在搜索结果中显示页面的摘要（比如描述或预览）。
max-snippet:[数字]
指定搜索结果中摘要的最大字符数。
max-image-preview:[大小]
定义搜索结果中图片预览的最大尺寸。大小可以是"none"（无）、"standard"（标准）或"large"（大）。
max-video-preview:[数字]
表示搜索结果中视频预览的最大时长（以秒为单位）。
nositelinkssearchbox
指示搜索引擎不要在搜索结果中显示网站特定的搜索框。
indexifembedded
告诉搜索引擎，只有当这个页面被嵌入到其他页面中时才收录它。

如何有效运用这些指令

要有效地实施这些指令，需要你对网站的内容和目标有清晰的规划和理解。无论是想管理重复内容、控制爬虫预算，还是引导搜索引擎到最重要的页面，这些指令都能帮你实现。同时，定期审计和更新你的指令，以适应内容变化和SEO策略调整，也是非常关键的。

其他搜索引擎

尽管robots元标签的指令受到谷歌、必应、雅虎等主流搜索引擎的尊重，但需要注意的是，并非所有搜索引擎都以相同的方式解释或遵守它们。一些外媒的搜索引擎可能有其独特的指令，或者对标准指令的解释略有不同。新媒网跨境提醒大家，务必查阅每个搜索引擎的官方文档，以确保你为该搜索引擎有效使用了robots元标签。

手把手教你设置Robots元标签

Robots元标签为搜索引擎爬虫提供了处理网站特定页面的重要指令。无论你是想阻止页面被收录，还是想引导链接权重的流向，这些标签都能派上用场。根据你使用的平台或内容管理系统（CMS），设置这些标签的方法可能略有不同。下面，新媒网跨境就一步步教你如何设置：

在HTML代码中实现robots元标签

如果你是手动构建网站，或者只是想通过HTML代码手动添加标签：

确定指令：
首先，想清楚你要实现什么，比如noindex（不收录）、nofollow（不追踪链接）或其他指令。
编辑<head>区域：
找到你想要添加meta标签的页面的HTML代码。
添加Meta标签：
在页面的<head>区域内，插入以下代码：
```
<meta name="robots" content="YOUR_DIRECTIVE_HERE">
```
将YOUR_DIRECTIVE_HERE替换为你选择的指令，例如noindex或nofollow。
保存并发布：
添加完成后，保存更改并发布页面。
验证：
使用搜索引擎站长工具或查看页面源代码，确保你的标签已正确实施。

在WordPress中使用Yoast SEO插件设置robots元标签

如果你正在使用WordPress，Yoast SEO插件能让robots元标签的设置变得非常简单：

安装Yoast SEO：
如果尚未安装，请从WordPress插件库安装并激活Yoast SEO插件。
进入文章或页面编辑：
编辑你想要添加指令的文章或页面。
访问Yoast SEO设置框：
向下滚动到内容编辑器下方的Yoast SEO设置框。
进入“高级”选项卡：
在设置框内，点击“高级”选项卡。
选择Robots Meta：
在这里，你会找到设置noindex或nofollow等meta robots标签的选项。
更新或发布：
完成选择后，更新或发布你的文章/页面。
确认更改：
检查页面的源代码或使用SEO工具，验证robots元标签是否已正确添加。

在Shopify中设置Robots元标签

Shopify也提供了直接的方法来设置robots元标签：

登录Shopify后台：
访问你的Shopify商店后台管理面板。
导航到“在线商店”：
从侧边菜单中选择“在线商店”。
进入“模板”：
在这里，你会看到你当前启用的主题和其他已保存的主题。
编辑代码：
在你当前启用的主题旁边，点击“操作”按钮，然后选择“编辑代码”。
访问模板文件：
导航到你想要编辑的模板文件，例如product.liquid（产品页面）或page.liquid（普通页面）。
插入Meta标签：
在<head>区域，按照HTML方法插入你的robots元标签。
保存：
完成后，保存你的更改。
验证实施：
务必检查实际页面，确保你的meta标签已正确实施。

请记住，虽然这些方法确保了meta标签的实施，但搜索引擎最终会决定如何解释和执行它们。定期检查和审计这些标签，以确保它们与你的SEO策略和目标保持一致，始终是好习惯。

X-Robots-Tag：更高级的“指挥棒”

X-Robots-Tag是一种HTTP响应头，它也能给搜索引擎爬虫提供指令，告诉它们如何收录或不收录特定内容。与robots元标签直接放在网页HTML代码中不同，X-Robots-Tag是作为HTTP响应头的一部分发送的。这使得它成为一个强大的工具，可以控制非HTML内容的收录，比如PDF文件、图片和其他类型的文件。

X-Robots-Tag的关键特性：

内容类型广泛： X-Robots-Tag的主要优势之一是它能够为各种文件类型提供指令，而不仅仅是HTML页面。这对于PDF、视频、图片和其他没有传统<head>区域可放置robots元标签的媒体内容尤其有用。
指令与Meta Robots标签类似： 你可以与X-Robots-Tag一起使用的指令，与robots元标签的指令基本相同。例如，你可以指定noindex（不收录）或nofollow（不追踪链接）指令。
服务器级别实施： 因为X-Robots-Tag是HTTP头的一部分，所以通常在服务器级别进行设置。这可能涉及到在Apache服务器上编辑.htaccess文件，或在其他类型的网络服务器中进行配置。

X-Robots-Tag的使用示例：

想象一下你的网站上有一个PDF文件，你不希望搜索引擎收录它。当搜索引擎爬虫请求该PDF时，服务器可以返回如下的HTTP头：

HTTP/1.1 200 OK
Date: Thu, 20 Oct 2023 12:00:00 GMT
X-Robots-Tag: noindex
Content-Type: application/pdf

在这个例子中，X-Robots-Tag: noindex这条指令就告知搜索引擎不要收录这个PDF文件。

X-Robots-Tag提供了一种强大的方式来控制搜索引擎如何处理你的内容，它扩展了更常用的robots元标签的功能。对于SEO专业人士，特别是那些处理除标准网页之外的各种内容类型和格式的人来说，它是一个必须掌握的知识点。

如何设置X-Robots-Tag：实战指引

X-Robots-Tag通常需要在服务器层面进行配置。对于跨境电商卖家来说，了解如何在常见的服务器环境（如Apache和Nginx）中设置它至关重要。

在Apache服务器上使用X-Robots-Tag

Apache是目前最流行的网络服务器之一。如果你使用的是Apache服务器，可以通过在.htaccess文件中添加指令来利用X-Robots-Tag控制搜索引擎行为。

在Apache上实施X-Robots-Tag的步骤：

访问.htaccess文件：
找到并打开服务器上的.htaccess文件。这个文件通常位于你网站的根目录下。
添加指令：
要阻止搜索引擎收录特定文件类型（例如PDF），你可以添加以下代码：
```
<FilesMatch "\.pdfquot;>
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
```
这段代码指示搜索引擎不要收录或追踪你网站上任何PDF文件中的链接。
多条指令：
如果你想添加多条指令，可以用逗号分隔。例如，Header set X-Robots-Tag "noindex, noarchive"。
保存并上传：
完成所有修改后，保存.htaccess文件，并在必要时将其重新上传到服务器。
验证实施：
一个好习惯是使用curl等工具或在浏览器开发者工具中检查网络流量，以确保HTTP头已正确设置。

在Nginx服务器上使用X-Robots-Tag

Nginx是另一种广泛使用的网络服务器。在Nginx服务器上实施X-Robots-Tag需要编辑服务器配置文件。

在Nginx上实施X-Robots-Tag的步骤：

访问配置文件：
导航到你的Nginx服务器的配置文件，通常位于/etc/nginx/nginx.conf或sites-available目录中。
添加指令：
要将X-Robots-Tag添加到特定位置或文件类型，你可以使用以下配置：
```
location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex, nofollow";
}
```
这条指令将阻止搜索引擎收录或追踪PDF文件中的链接。
针对所有文件：
如果你想为所有文件和位置设置X-Robots-Tag，可以将add_header指令放置在server块内，而不需要特定的location。
保存并重启：
添加指令后，保存配置文件并重启Nginx服务器以应用更改。通常可以使用sudo service nginx restart这样的命令来完成。
验证：
与Apache一样，务必使用curl或浏览器开发者工具来验证是否正确实施。

在Apache或Nginx两种情况下，对服务器配置所做的任何更改都至关重要进行测试和验证，以确保不会对你网站的可访问性或性能产生负面影响。

何时选用Robots元标签与X-Robots-Tag？

Robots元标签和X-Robots-Tag服务于相似的目的：它们都向搜索引擎爬虫提供如何处理特定内容的指令。然而，它们使用的方式和情境却可能有所不同。让我们探讨一下在哪些场景下你会选择其中一个而不是另一个。

非HTML文件

Robots元标签： 这个标签放置在HTML文档的<head>区域内。因此，它主要应用于网页。它不能用于图片、视频、PDF等非HTML文件。
X-Robots-Tag： 由于它是一个HTTP头，可以应用于服务器提供的任何文件类型，包括非HTML文件。例如，如果你想阻止搜索引擎收录PDF或图片，X-Robots-Tag就是合适的工具。

核心要点： HTML内容用robots元标签，非HTML内容用X-Robots-Tag。

大规模应用指令

Robots元标签： 要使用robots元标签应用指令，你需要将标签添加到每个单独的页面。如果你处理大量页面，这可能会非常繁琐。
X-Robots-Tag： 这个标签可以在服务器级别设置，一次性应用于多个文件或文件类型。例如，你可以配置服务器为它提供的每个PDF或每张图片添加X-Robots-Tag，这对于大规模指令来说效率很高。

核心要点： 如果你需要大规模或跨文件类型应用指令，X-Robots-Tag可能更高效。

来自谷歌之外的搜索引擎流量

Robots元标签： 包括必应、雅虎、百度等所有主流搜索引擎都认可并尊重robots元标签。它的指令是标准化的，在整个行业内都得到理解。
X-Robots-Tag： 同样，X-Robots-Tag也受到所有主流搜索引擎的认可。它是HTTP标准的一部分，因此不特定于任何一个搜索引擎。

核心要点： 这两种标签对所有主流搜索引擎都有效。你选择它们应基于其他标准，如内容类型和应用规模。

在robots元标签和X-Robots-Tag之间做出选择，主要取决于你的内容具体要求和实施规模。虽然对于HTML内容，它们通常可以互换使用，但X-Robots-Tag为多样化文件类型和大规模应用提供了更广泛的实用性。在做选择时，务必考虑内容的性质、指令的广度以及你的SEO目标。

如何避免爬取和收录（或取消收录）的常见错误

确保你的网站能够被搜索引擎正确爬取和收录，对SEO来说至关重要。在这方面犯的错误，可能会导致有价值的内容无法出现在搜索结果中，或者暴露了本应隐藏的内容。下面是一些常见的错误以及如何避免它们：

错误1：给robots.txt中已禁止爬取的页面添加noindex指令

问题： 当一个页面通过robots.txt被禁止爬取时，搜索引擎爬虫根本无法访问它。如果你同时还给它添加了“noindex”指令，这是多余的，因为爬虫看不到这个指令。
解决方案： 新媒网跨境建议你只使用其中一种方法，而不是同时使用。如果你不希望页面被收录，使用“noindex”。如果你不希望它被爬取，使用robots.txt。

错误2：站点地图（sitemap）管理不善

问题： 过时或结构不当的站点地图会误导搜索引擎爬虫。
解决方案： 定期更新你的站点地图，尤其是在网站发生重大更改之后。确保站点地图符合XML标准，并且只包含规范（canonical）的URL。

错误3：在生产环境中忘记移除noindex指令

问题： 有时，在开发或测试环境中使用的“noindex”指令，会被错误地保留在实际的生产环境中，导致重要页面无法被收录。
解决方案： 务必审核你的生产网站，检查是否存在非预期的“noindex”指令。建立一个部署清单，确保在上线前发现并纠正此类错误。

错误4：将“秘密”URL添加到robots.txt而不是使用noindex

问题： 将URL列在robots.txt中，实际上是向公众“揭示”了它们，有些人可能会直接访问这些URL。这不是一种保守页面秘密的方法。
解决方案： 不要将敏感URL列在robots.txt中，而应使用“noindex”指令，或者更好地，使用密码保护它们，或将其置于登录页面之后。

错误5：在Robots.txt文件中添加Meta Robots指令

问题： robots.txt文件是为了爬取指令而设计的，而不是收录指令。在这里添加meta robots指令不会产生预期的效果。
解决方案： 仅使用robots.txt来控制爬取。对于控制收录，请依赖meta robots标签或X-Robots-Tag。

错误6：从站点地图中删除带有“Noindex”指令的页面

问题： 在你的站点地图中包含带有“noindex”指令的页面可能会让搜索引擎感到困惑，并且适得其反。
解决方案： 你的站点地图应该引导搜索引擎到你最重要、可收录的内容。确保任何带有“noindex”指令的页面都不会出现在你的站点地图中。

错误7：未从测试环境中移除“Noindex”指令

问题： 这与错误3类似，但角度相反。当测试环境推送到生产环境时，如果未移除“noindex”指令，有价值的内容可能无法被收录。
解决方案： 从测试环境迁移到生产环境时，实施严格的质量保证流程。仔细检查所有“noindex”指令，如果不需要，请确保将其移除。

要保持最佳的爬取和收录状态，需要时刻保持警惕，并对搜索引擎与你网站的互动方式有透彻的理解。定期审计并遵循最佳实践，可以帮助你避免这些常见陷阱，确保你的内容获得应有的可见度。

发现你的网站有多少页面被收录：Google收录查询器

对于网站站长和SEO专业人士来说，Google收录查询器（Google Index Checker）是一个至关重要的工具，它能快速检查一个网站有多少页面被谷歌收录。这个信息是网站在搜索引擎可见度的关键，因为通常收录的页面越多，在线曝光就越好，这使得该工具对于增强SEO策略至关重要。
Google收录查询结果

该工具不仅显示收录页面的数量，还能识别哪些页面已被收录，帮助用户 pinpoint 谷歌搜索结果中缺失的页面，从而进行有针对性的SEO优化。其用户友好和高效的设计使其成为优化网站在搜索引擎中表现的宝贵资产。

总结

确保网站能够被搜索引擎正确爬取和收录，是网站在搜索引擎上取得成功的基础。任何失误，比如不经意的“noindex”指令，或者站点地图的不一致，都可能对网站的可见度产生长期的负面影响。

核心在于找到一个平衡点：给搜索引擎清晰的指令，告诉它们哪些内容该爬取、哪些该收录；同时也要保护那些应该保持私密的内容。定期审计你网站的爬取和收录设置，并持续更新最佳实践，将大大有助于巩固你的网站在搜索结果中的位置。

常见问题解答 (FAQ)

除了meta标签，还有其他方法可以控制搜索引擎与网站的互动吗？
是的，除了meta标签，网站还可以使用robots.txt文件来指导或限制搜索引擎爬虫，以及XML站点地图来突出重要页面以供收录。

meta robots标签中的“nofollow”指令与链接上的“nofollow”属性有什么区别？
meta robots标签中的“nofollow”指令指示搜索引擎不要追踪整个页面上的任何链接。相反，特定链接上的“nofollow”属性仅适用于该特定链接，页面上的其他链接不受影响。

meta robots标签和X-Robots-Tag有什么区别？
meta robots标签放置在网页的HTML代码中，通常用于HTML内容。而X-Robots-Tag是一个HTTP头，使其适用于各种文件类型，包括图片和PDF等非HTML内容。

搜索引擎可以收录XML站点地图中未提及的内容吗？
是的，XML站点地图只是搜索引擎的一个指南。它们仍然可以通过其他方式发现和收录内容，例如通过跟踪来自其他网站或页面的链接。

如果一个页面在robots.txt中被阻止，搜索引擎会知道它的内容吗？
不，如果一个页面在robots.txt中被阻止，搜索引擎不会爬取其内容。但是，如果它们在其他地方找到该URL，它们仍然可能收录该URL，但没有页面的具体内容详情。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/meta-robots-index-control-pitfalls-save-2h.html