当我们跟 Google AdSense 合作的时候，有时会被提示网站广告抓取错误，这个时候，我们需要去优化修改我们的页面，那么究竟是什么造成的呢？

带着这个问题，我们去了解下 AdSense 的网站合作规范。

发现的问题

您需要修正一些问题，才能恢复正常的广告投放。首先要修正"必须解决"的问题并确保您的网站符合 AdSense 合作规范。对于其他可选择修正的问题，建议您进行修正，因为它们会影响广告投放。

AdSense 广告抓取工具简介

抓取工具（也称为"蜘蛛"程序或"漫游器"）是 Google 用来处理网页内容并编制索引的软件。AdSense抓取工具通过访问您的网站确定网站内容，以便提供相关的广告。

下面介绍了关于 AdSense 抓取工具您应了解的一些要点：

• 抓取工具报告每周更新一次。

  抓取过程是自动执行的，因此，我们无法应您的请求更频繁地执行抓取。

• AdSense 抓取工具不同于 Google 抓取工具。

  这两种抓取工具相互独立，但它们共用同一个缓存。我们这样设计的目的是避免这两种抓取工具同时请求相同的网页，从而帮助发布商节省带宽。与此类似，Search Console 抓取工具也是独立的。

• 解决 AdSense 抓取问题并不会同时解决 Google 抓取问题。

  解决抓取工具访问权限页上列出的问题不会影响您的网页在 Google 搜索结果中的排名。要详细了解您的网站在 Google 上的排名，请参阅以下文章：在 Google 搜索结果中收录您的网站。

• 抓取工具按网址编制索引。

  我们的抓取工具会分别访问 site.com 和 www.site.com 网站，但不会分开统计 site.com 和 site.com/#anchor 的信息。

• 抓取工具不会访问 robots.txt 文件禁止访问的网页或目录。

  Google 和 AdSense Mediapartners 抓取工具都受 robots.txt 文件的约束。如果您的 robot.txt 文件禁止访问某些网页或目录，则抓取工具不会对其进行抓取。
  注意：如果您在使用 User-agent: * 行阻止漫游器访问的网页上投放广告，那么 AdSense 抓取工具仍会抓取这些网页。要阻止 AdSense 抓取工具访问您的网页，您需要在自己的 robots.txt 文件中指定 User-agent: Mediapartners-Google。

• 抓取工具仅会尝试访问已实现我们的广告代码的网址。

  向我们的系统发出请求并被抓取的应该只是展示Google广告的网页。

• 抓取工具会尝试访问重定向的网页。

  如果有重定向到其他网页的"原始网页"，我们的抓取工具就必须访问原始网页，以确定重定向确实存在。因此，您的访问日志会显示我们的抓取工具对原始网页的访问。

• 我们无法控制抓取工具将您网站的内容编入索引的频率。

  目前，我们无法控制重新抓取网站。抓取操作是由我们的漫游器自动执行的。如果您对网页进行了更改，您所做的更改可能需要最多 1 到 2 周的时间才能反映到我们的索引中。