提供一组 google 抓取用到的IP地址。我以前以为google退出中国市场后所有的抓取都是通过境外的网络访问国内的。没有想到我理解错了,目前它还是使用国内的网络IP来抓取网页的。
下面提供一组google的抓取IP:
203.208.60.68
203.208.60.49
203.208.60.61
203.208.60.7
通过查询得知是来自北京市 北京谷翔信息技术有限公司电信数据中心 谷歌云服务中心
说明
- 所列 IP 归属地为北京,运营商为 Google 相关数据中心,说明 Google 的抓取确实存在经由国内网络出口的情况。
- Googlebot 的官方验证方式是反向 DNS:解析出的主机名应以 googlebot.com 或 google.com 结尾,且正向解析能回到同一 IP。
- 不要仅凭 IP 段判定,IP 会变化,UA 也可能被伪造。
相关阅读
- 天翼云 google无法抓取页面|云厂商流量限制排查
- 谷歌站点地图无法获取怎么办?|排查与解决思路
- Google 爬虫名称汇总:常见蜘蛛 UA 标识与抓取用途说明
- 搜狗蜘蛛 IP 地址汇总:识别与判断搜索引擎爬虫的方法