2020-12-12 乐帮网
seo google
Google所有的爬虫汇总如下:
抓取工具 | 用户代理令牌(产品令牌) | 完整的用户代理字符串 |
---|---|---|
APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
AdSense |
|
Mediapartners-Google |
AdsBot Mobile Web Android (检查 Android 网页广告质量) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
AdsBot Mobile Web (检查 iPhone 网页广告质量) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) |
AdsBot (检查桌面设备网页广告质量) |
|
AdsBot-Google (+http://www.google.com/adsbot.html ) |
Googlebot Image |
|
Googlebot-Image/1.0 |
Googlebot News |
|
Googlebot-News |
Googlebot Video |
|
Googlebot-Video/1.0 |
Googlebot(桌面版) |
|
|
Googlebot(智能手机版) |
|
|
Mobile AdSense |
|
(各类移动设备)(compatible; Mediapartners-Google/2.1 ; +http://www.google.com/bot.html ) |
Mobile Apps Android (检查 Android 应用页面广告质量。遵守 AdsBot-Google 漫游器规则。) |
|
AdsBot-Google-Mobile-Apps |
Feedfetcher |
error不遵循 robots.txt 规则 |
|
Google Read Aloud |
error不遵循 robots.txt 规则 |
现用代理:
曾用代理(已弃用): |
网页上的 Duplex |
error可能会忽略 * 用户代理通配符 |
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36 |
Google Favicon (检索各种服务的网站图标) |
error对于用户发起的请求,会忽略 robots.txt 规则 |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
Web Light |
error不遵循 robots.txt 规则 |
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 |
相关文章:
Google 云服务器免费申请使用12个月Google Cloud
关注我的微信公众号
在公众号里留言交流
投稿邮箱:1052839972@qq.com
庭院深深深几许?杨柳堆烟,帘幕无重数。
玉勒雕鞍游冶处,楼高不见章台路。
雨横风狂三月暮。门掩黄昏,无计留春住。
泪眼问花花不语,乱红飞过秋千去。
如果感觉对您有帮助
欢迎向作者提供捐赠
这将是创作的最大动力