分享一些搜索引擎的蜘蛛User-agent
分享一些搜索引擎的蜘蛛User-agent
下面的User-agent都是从大站的robots.txt找来的，而非复制于其他网站文章。大家也可以自己搜集下。
相比网上的数据准确定较高。关于搜索引擎的归属可能会有部分错误，搜索引擎归属都是本人自己分类的。
一些蜘蛛并没有对应的搜索引擎，个别本人也搞不明白是啥玩意。各位朋友有知道的可以留言回复，我会更新上。
根据标准，ua区分大小写！
| User-agent | 搜索引擎 | 其他备注 |
|---|---|---|
| Baiduspider | 百度搜索 | |
| Baiduspider-video | 百度视频 | |
| Baiduspider-news | 百度新闻 | |
| Baiduspider-image | 百度图片 | |
| Googlebot | 谷歌蜘蛛 | |
| Googlebot-Image | 谷歌图片 | |
| AdsBot-Google | 谷歌广告 | |
| Sogou wap spider | 搜狗无线端UA | |
| Sogou web spider | 搜狗网页蜘蛛 | |
| Sogou inst spider | 搜狗 | |
| Sogou spider2 | 搜狗 | |
| Sogou blog | 搜狗博客 | 博客类站点教程类文章一般权重较高 |
| Sogou News Spider | 搜狗新闻 | |
| Sogou Orion spider | 搜狗 | |
| ChinasoSpider | 中国搜索蜘蛛 | |
| Sosospider | 搜搜网页搜索 | |
| yisouspider | 神马搜索 | 移动端 |
| EasouSpider | 宜搜蜘蛛 | |
| JikeSpider | 即刻蜘蛛 | |
| YYspider | 未知 | |
| 360spider | 360搜索 | 360蜘蛛不遵守robots.txt规则 |
| HaosouSpider | 360更名好搜后出的蜘蛛 | |
| Twitterbot | ||
| msnbot-media | MSN | |
| MSNBot | MSN | |
| WochachaSpider | 我查查 | |
| Bytespider | 今日头条字节跳动 | |
| ToutiaoSpider | 今日头条字节跳动 | 这两个字节跳动UA都是在大站上找到的 |
| bingbot | bing搜索 | |
| Yahoo! Slurp | Yahoo | |
| EtaoSpider | 一淘网蜘蛛 | |
| HuihuiSpider | 惠惠购物助手 | |
| GwdangSpider | 购物党 | |
| YoudaoBot | 有道 | |
| facebookexternalhit | ||
参考网站robots列表
https://www.baidu.com/robots.txt
https://tieba.baidu.com/robots.txt
https://www.jd.com/robots.txt
https://www.taobao.com/robots.txt
https://www.zhihu.com/robots.txt
https://www.sogou.com/robots.txt
https://www.aliyun.com/robots.txt
https://cn.bing.com/robots.txt
https://www.google.com/robots.txt