站点地图的引用并没有什么问题

到 都被禁止执行任何操作。 “Robot-a”被允许抓取域中的所有页面。 允许： 使用“允许：”功能，您可以释放实际被阻止爬行的路径中的单个目录、路径或文件。仅当您明确阻止某些内容时，这才有意义。 # robots.txt 到 os/ 目录中的所有其他子目录和文件都被排除在爬网之外。 允许而不禁止是无效的，因此不会为您提供任何优势。 站点地图： 除了“禁止”和“允许”功能外，还有“站点地图：”功能。XML 站点地图是网站上所有 URL 的概述。您可以使用“站点地图：”功能在 robots.txt 中链接这些内容。与其他说明相 使用正则表达式，但主要的搜索引擎爬虫都支持以下两种通配符。

特别是对于正则表达式初学者来

它们的使用很容易理解，特别是对于正则 老挝 电话号码 表达式初学者来说，尤其是由于数量有限： “* de 中的 robots.txt！ 如何更改网站上的 robots.txt？ 默认情况下，某些 CMS 会为您提供在后端自定义 robots.txt 的选项，而其他 CMS 则需要插件。例如，WordPress 默认情况下不允许您直接在后端更改文件 – 除非您安装了 SEO 插件（我通常推荐）。 使用 Yoast SEO 插件更改 robots.txt 在 Yoast SEO 插件中，除了 .htaccess 之外，您还可以在工具>文件编辑器下编辑 robots.txt ： Yoast SEO 插件中的工具 如您所见，您可以在此处插入任何文本。 更改 Yoast SEO 插件中的 robots.txt 一旦您保存了更改，新版本就会生效。 通过FTP上传更改robots.txt 实际上，无论使用什么 CMS，此选项始终是可行的。

您可以在输入后 服务器

使用FileZilla等 FTP 客户端， ， 用户名， 密 玻利维亚电话号码列表 码和 港口， 连接到您的网站并访问此处的所有文件。如果根文件夹中尚不存在 robots.txt，您可以使用简单的文本编辑器创建它。正如我所说，将其保存在正确的文件名下非常重要： 在 Windows 记事本中创建 robots.txt 现在您可以使用 FTP 上传将此文件保存在正确的目录中。 检查机器人.txt 最终，您可以使用Google Search Console 中内置的 robots.txt 测试器来检查各种 Googlebot 是否可以访问哪些网址以及哪些网址不能访问。新版本的 Search Console 中尚不存在该功能。因此，您必须使用旧版本。