分享一些搜索引擎的蜘蛛User-agent
分享一些搜索引擎的蜘蛛User-agent
下面的User-agent都是从大站的robots.txt找来的,而非复制于其他网站文章。大家也可以自己搜集下。
相比网上的数据准确定较高。关于搜索引擎的归属可能会有部分错误,搜索引擎归属都是本人自己分类的。
一些蜘蛛并没有对应的搜索引擎,个别本人也搞不明白是啥玩意。各位朋友有知道的可以留言回复,我会更新上。
根据标准,ua区分大小写!
User-agent | 搜索引擎 | 其他备注 |
---|---|---|
Baiduspider | 百度搜索 | |
Baiduspider-video | 百度视频 | |
Baiduspider-news | 百度新闻 | |
Baiduspider-image | 百度图片 | |
Googlebot | 谷歌蜘蛛 | |
Googlebot-Image | 谷歌图片 | |
AdsBot-Google | 谷歌广告 | |
Sogou wap spider | 搜狗无线端UA | |
Sogou web spider | 搜狗网页蜘蛛 | |
Sogou inst spider | 搜狗 | |
Sogou spider2 | 搜狗 | |
Sogou blog | 搜狗博客 | 博客类站点教程类文章一般权重较高 |
Sogou News Spider | 搜狗新闻 | |
Sogou Orion spider | 搜狗 | |
ChinasoSpider | 中国搜索蜘蛛 | |
Sosospider | 搜搜网页搜索 | |
yisouspider | 神马搜索 | 移动端 |
EasouSpider | 宜搜蜘蛛 | |
JikeSpider | 即刻蜘蛛 | |
YYspider | 未知 | |
360spider | 360搜索 | 360蜘蛛不遵守robots.txt规则 |
HaosouSpider | 360更名好搜后出的蜘蛛 | |
Twitterbot | ||
msnbot-media | MSN | |
MSNBot | MSN | |
WochachaSpider | 我查查 | |
Bytespider | 今日头条字节跳动 | |
ToutiaoSpider | 今日头条字节跳动 | 这两个字节跳动UA都是在大站上找到的 |
bingbot | bing搜索 | |
Yahoo! Slurp | Yahoo | |
EtaoSpider | 一淘网蜘蛛 | |
HuihuiSpider | 惠惠购物助手 | |
GwdangSpider | 购物党 | |
YoudaoBot | 有道 | |
facebookexternalhit | ||
参考网站robots列表
https://www.baidu.com/robots.txt
https://tieba.baidu.com/robots.txt
https://www.jd.com/robots.txt
https://www.taobao.com/robots.txt
https://www.zhihu.com/robots.txt
https://www.sogou.com/robots.txt
https://www.aliyun.com/robots.txt
https://cn.bing.com/robots.txt
https://www.google.com/robots.txt
Discussion
New Comments
暂无评论。 成为第一个!