问题。 为了检查它是否适用于这种情况，我使用了 Google 的移动设备友好度测试。此工具可让您深入了解渲染的源代码和移动设备上渲染页面的屏幕截图，从而帮助您解决渲染问题。 我转到“更多信息”部分，检查是否有任何页面资源无法加载。以Jdl-brakes.com 上的一个产品页面为例，您可能会看到它需要一个特定的 JavaScript 文件才能完全呈现。不幸的是，这无法实现，因为整个 /js/ 文件夹在其 robots.txt 中被阻止了。
但是，让我们看看这些渲染问题是否影响了网站的索引。我使用“site:”命令检查 俄罗斯电话号码库 所分析页面的主要内容（产品描述）是否在 Google 上编入索引。如您所见，没有找到任何结果： 这是一个有趣的案例，Google 可以访问网站的主要内容，但不会对其进行索引。为什么？因为 Jdl-brakes.com 阻止了其 JavaScript，所以 Google 无法正确查看页面的布局。而且，即使爬虫可以访问主要内容，它们也无法了解该内容在页面布局中的位置。
让我们看一下移动设备友好度测试中的屏幕截图选项卡。当 Jdl-brakes.com 阻止爬虫访问 CSS 和 JavaScript 资源时，爬虫看到的页面布局就是这样的。它看起来与您在浏览器中看到的完全不同，对吧？ 布局对于 Google 了解您网页的上下文至关重要。如果您想了解有关网络技术和布局的交叉点的更多信息，我强烈建议您研究技术 SEO 的一个新领域，即渲染 SEO。 获胜者：Lidl.de Lidl.de 证明，一个组织良好的 robots.txt文件可以帮助您控制网站的抓取。