Robots Meta Tag 和 X-Robots-Tag 解释

seoexpert

搜索引擎不需要索引您网站上的某些内容。为了防止对必要页面进行索引，您可以使用 robots 元标记或 x-robots-tag。 但是，和 robots 元标记使用不当的情况并不少见。这会导致混乱和冲突的指令无法达到想要的结果：防止页面被索引。 在本指南中，我们希望帮助您了解如何使用 robots 元标记和 x-robots-tag 来控制您网站内容的索引，并帮助您发现常见的错误。 具体来说，我们将看看： 什么是机器人元标签？ 了解机器人元标记属性和指令 Meta Robots 标签代码示例 使用 Meta Robots 标签来控制片段 什么是 X-Robots-Tag？ 如何设置机器人元标记和 X‑Robots-Tag 常见的元机器人错误 什么是机器人元标签？ 机器人元标记，也称为机器人标记，是一段 HTML 代码，位于网页的 部分，用于控制搜索引擎如何抓取和索引 URL。

这是页面源代码中机器人元标记的样子： 这些标签是特定于页面的，允许您指示搜索引擎您希望它们如何处理页面以及是否将其包含在索引中。 机器人元标签有什么用途？ 机器人元标记用于控制 Google 如何索引您的网页内容。这包括： 是否在搜索结果中包含页面 是否跟随页面上的链接（即使它被阻止被索引） 请求不对页面上的图像编制索引 请求不在 SERP 上显示网页的 西班牙电话号码 缓存结果 请求不在 SERP 上显示页面的片段（元描述） 为了了解如何使用 robots 元标记，我们需要查看不同的属性和指令。我们还将分享代码示例，您可以将其放入页面标题中，以请求搜索引擎以某种方式索引您的页面。 运行技术现场审核 使用 Semrush 站点审计工具 免费试用 → ADS 插图 了解机器人元标记属性和指令 一旦您了解了如何设置两个属性： name和content ，使用 robots 元标记就非常简单。这两个属性都是必需的，因此您必须为每个属性设置一个值。 让我们更详细地看一下这些属性。



姓名 name属性控制爬虫和机器人（用户代理，也称为 UA）应遵循机器人元标记中包含的说明。 要指示所有爬虫遵循说明，请使用： 名称="机器人" 在大多数情况下，您会希望将其用作默认值，但您可以根据需要使用尽可能多的不同元机器人标签来为不同的爬虫指定指令。 指令不同爬虫时，简单来说就是使用多个标签的情况：  有数百种不同的用户代理。最常见的是： Google ：Googlebot（您可以在此处查看Google 爬虫的完整列表） Bing ：Bingbot（您可以在此处查看 Bing 爬虫的完整列表） DuckDuckGo : DuckDuckBot 百度：百度蜘蛛 Yandex：YandexBot 内容 content属性用于向指定的用户代理提供指令。 重要的是要知道，如果您没有在网页上指定元机器人标签，则默认为索引页面并跟随所有链接（除非它们具有内联指定的 rel="nofollow" 属性）。