提供一组 google 抓取用到的IP地址。我以前以为google退出中国市场后所有的抓取都是通过境外的网络访问国内的。没有想到我理解错了,目前它还是使用国内的网络IP来抓取网页的。

下面提供一组google的抓取IP:

203.208.60.68
203.208.60.49
203.208.60.61
203.208.60.7
通过查询得知是来自北京市 北京谷翔信息技术有限公司电信数据中心 谷歌云服务中心

说明

  • 所列 IP 归属地为北京,运营商为 Google 相关数据中心,说明 Google 的抓取确实存在经由国内网络出口的情况。
  • Googlebot 的官方验证方式是反向 DNS:解析出的主机名应以 googlebot.com 或 google.com 结尾,且正向解析能回到同一 IP。
  • 不要仅凭 IP 段判定,IP 会变化,UA 也可能被伪造。

相关阅读

参考资料