网站目录收录网站方式:1.人工手动审核。2.自助审核(你的网站在权重3、PR4以上,挂上本站友链->点击友链->自动审核通过。)
北京 天津 上海 广东 深圳 河北 河南 新疆 重庆 四川 贵州 湖南 湖北 云南 广西 宁夏 青海 甘肃 陕西
西藏 海南 山东 福建 安徽 浙江 吉林 山西 江西 江苏 辽宁 黑龙 内蒙 澳门 香港 台湾 日本 韩国 美国
当前位置:站长啦网站目录 » 新闻资讯 » 站长新闻 » 技术文档 » 文章详细 订阅RssFeed

盘点2020年最新各种搜索引擎蜘蛛大全及网址日志分析

来源:本站原创 浏览:1784次 时间:2020-06-17
简介:盘点2020年最新各种搜索引擎蜘蛛及网址日志分析最近几天一直在观察网站蜘蛛,发现 77.88.5.55 , 俄罗斯 - 列宁格勒 - 圣彼得堡这类的IP很多,查了下是YandexBot蜘蛛,是俄罗斯的搜索引擎Yandex,目前全世界搜索引擎排第九,Yandex月独立访问者:0.3亿、Yandex搜索引擎是俄罗斯第一大搜索引擎,创建于1997年,目前已经发展成为一个提供搜索、图片共享、社交网络、网络

盘点2020年最新各种搜索引擎蜘蛛及网址日志分析

最近几天一直在观察网站蜘蛛,发现 77.88.5.55 , 俄罗斯 - 列宁格勒 - 圣彼得堡这类的IP很多,查了下是YandexBot蜘蛛,是俄罗斯的搜索引擎Yandex,目前全世界搜索引擎排第九,Yandex月独立访问者:0.3亿、Yandex搜索引擎是俄罗斯第一大搜索引擎,创建于1997年,目前已经发展成为一个提供搜索、图片共享、社交网络、网络支付、免费网站托管、以及其它服务的门户网站。


目前几个蜘蛛识别的代码

1、百度蜘蛛:baiBaiduspider

百度蜘蛛最新名称为Baiduspider,日志中还发现了Baiduspider-image这个百度旗下蜘蛛,我们直接看名字就可以知道它是干嘛的,是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

备注:以上百度蜘蛛目前最为常见的是,Baiduspider和Baiduspider-image这两种。


2、google谷歌蜘蛛:Googlebot


谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”,除此还发现了Googlebot-Mobile,看名字显然是抓取wap内容的。
3、360蜘蛛:360Spider
4、搜狗蜘蛛:SogouSpider

其名称为,Sogou News Spider。

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou来简单概括)。看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节,占了一大块地方。

“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前主要有这么6个,名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″,可以为它颁个“占名为王”奖。

SOSO蜘蛛:Sosospider 已经退出搜索引擎和搜狗合并


5、雅虎蜘蛛:“zhiYahoo! Slurp China”或者Yahoo! 已经退出搜索引擎
6、有道蜘蛛:YoudaoBot,daoYodaoBot  已经退出搜索引擎
7、搜狗蜘蛛:Sogou News Spider、Sogou XXX spider等 已经退出搜索引擎
8、MSN蜘蛛:msnbot,msnbot-media
9、必应蜘蛛:bingbot
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜sou蜘蛛:EasouSpider
13、即刻蜘蛛:JikeSpider
14、一淘网蜘蛛:EtaoSpider
另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。

目前搜索引擎蜘蛛引导的最好的网站是分类目录网站,里面的分类和网址非常适合搜索引擎蜘蛛的爬取,新站和老站关键词的提升用分类目录都很不错,分析蜘蛛日志,用http://www.loghao.com/ 这个网站挺不错的,之前挂了几天,现在又满血复活!




0

版权与免责声明:

凡注明稿件来源的内容均为转载稿或由网友用户注册发布,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


本文地址:https://top.cnzzla.com/artinfo/52120.html

好玩的手游下载

猜你喜欢

推荐站点

  • 福州小程序开发福州小程序开发

    福州好小蚁科技提供专业的微信小程序开发、软件定制、手机APP开发、网站开发等高端定制外包服务,价格美丽,服务周到.一对一项目对接,不满意退全款!预约电话:13107632710 胡小春!福州好小蚁科技有限公司是福建福州网站app等技术开发优秀网络公司。

    www.fzant.com
  • 世界时间网世界时间网

    世界时间网为您提供世界各地精准时间,北京时间校准器,标准时间,世界各地时间与北京时间对比,时间换算等,希望对您有所帮助。

    top.cnzzla.com/time
  • 科技镇科技镇

    科技镇 | 关注科技、娱乐、人文、生活!

    www.kejizhen.com
  • 心动网址导航心动网址导航

    心动网址导航精选了国内国外著名的网站、好玩的、好看的、有趣的国内国外网站以及实用的、优秀的国内国外网站,包括国外视频、国外购物、国外交友、国外新闻等多种类型 同时提供精品行业分类目录提交,让用户全方位了解国内国外互联网动态!

    xd00.com
  • 门户网址-优秀网站导航门户网址-优秀网站导航

    门户网址-优秀网站导航,精选网址导航,免费分类目录提交,实用酷站大全。

    top.mhwz.cn

最新优秀网站