分享一些搜索引擎的蜘蛛User-agent
分享一些搜索引擎的蜘蛛User-agent
下面的User-agent都是从大站的robots.txt找来的，而非复制于其他网站文章。大家也可以自己搜集下。
相比网上的数据准确定较高。关于搜索引擎的归属可能会有部分错误，搜索引擎归属都是本人自己分类的。
一些蜘蛛并没有对应的搜索引擎，个别本人也搞不明白是啥玩意。各位朋友有知道的可以留言回复，我会更新上。
根据标准，ua区分大小写！
[table id=17 /]
参考网站robots列表
https://www.baidu.com/robots.txt
https://tieba.baidu.com/robots.txt
https://www.jd.com/robots.txt
https://www.taobao.com/robots.txt
https://www.zhihu.com/robots.txt
https://www.sogou.com/robots.txt
https://www.aliyun.com/robots.txt
https://cn.bing.com/robots.txt
https://www.google.com/robots.txt