网站目录收录网站方式:1.人工手动审核。2.自助审核(你的网站在权重3、PR4以上,挂上本站友链->点击友链->自动审核通过。)
当前位置:站长啦分类目录 » 站长资讯 » 站长新闻 » 技术文档 » 文章详细 订阅RssFeed

盘点2020年最新各种搜索引擎蜘蛛大全及网址日志分析

来源:本站原创 浏览:221次 时间:2020-06-17
简介:盘点2020年最新各种搜索引擎蜘蛛及网址日志分析最近几天一直在观察网站蜘蛛,发现 77.88.5.55 , 俄罗斯 - 列宁格勒 - 圣彼得堡这类的IP很多,查了下是YandexBot蜘蛛,是俄罗斯的搜索引擎Yandex,目前全世界搜索引擎排第九,Yandex月独立访问者:0.3亿、Yandex搜索引擎是俄罗斯第一大搜索引擎,创建于1997年,目前已经发展成为一个提供搜索、图片共享、社交网络、网络

盘点2020年最新各种搜索引擎蜘蛛及网址日志分析

最近几天一直在观察网站蜘蛛,发现 77.88.5.55 , 俄罗斯 - 列宁格勒 - 圣彼得堡这类的IP很多,查了下是YandexBot蜘蛛,是俄罗斯的搜索引擎Yandex,目前全世界搜索引擎排第九,Yandex月独立访问者:0.3亿、Yandex搜索引擎是俄罗斯第一大搜索引擎,创建于1997年,目前已经发展成为一个提供搜索、图片共享、社交网络、网络支付、免费网站托管、以及其它服务的门户网站。


目前几个蜘蛛识别的代码

1、百度蜘蛛:baiBaiduspider

百度蜘蛛最新名称为Baiduspider,日志中还发现了Baiduspider-image这个百度旗下蜘蛛,我们直接看名字就可以知道它是干嘛的,是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

备注:以上百度蜘蛛目前最为常见的是,Baiduspider和Baiduspider-image这两种。


2、google谷歌蜘蛛:Googlebot


谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”,除此还发现了Googlebot-Mobile,看名字显然是抓取wap内容的。
3、360蜘蛛:360Spider
4、搜狗蜘蛛:SogouSpider

其名称为,Sogou News Spider。

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou来简单概括)。看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节,占了一大块地方。

“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前主要有这么6个,名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″,可以为它颁个“占名为王”奖。

SOSO蜘蛛:Sosospider 已经退出搜索引擎和搜狗合并


5、雅虎蜘蛛:“zhiYahoo! Slurp China”或者Yahoo! 已经退出搜索引擎
6、有道蜘蛛:YoudaoBot,daoYodaoBot  已经退出搜索引擎
7、搜狗蜘蛛:Sogou News Spider、Sogou XXX spider等 已经退出搜索引擎
8、MSN蜘蛛:msnbot,msnbot-media
9、必应蜘蛛:bingbot
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜sou蜘蛛:EasouSpider
13、即刻蜘蛛:JikeSpider
14、一淘网蜘蛛:EtaoSpider
另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。

目前搜索引擎蜘蛛引导的最好的网站是分类目录网站,里面的分类和网址非常适合搜索引擎蜘蛛的爬取,新站和老站关键词的提升用分类目录都很不错,分析蜘蛛日志,用http://www.loghao.com/ 这个网站挺不错的,之前挂了几天,现在又满血复活!




0
分享一下更健康,本文地址: https://top.cnzzla.com/artinfo/52120.html

好玩的手游下载

推荐站点

  • Daytrends medical device,lighting,furniture,accessDaytrends medical device,lighting,furniture,access

    Daytrends is a design and manufacturing service company which located in Shenzhen, Our competitive strength : Industrial design, Prototyping, OEM&ODM service, 3D Tooling, Reverse Engineering , brands agent.Our strong field : LED lighting,medical device,furniture, toys, electronic accessories, Optic components.

    daytrends.net
  • 2020每日快讯—免费新闻快讯、免费发布2020每日快讯—免费新闻快讯、免费发布

    每日快讯,终身免费,同步兼容手机版、平板、电脑。seo多种功能静态搜录好

    www.2020smmm.com
  • 手游下载网手游下载网

    42824手游下载网-和玩家一起玩最新好玩的手游!是中国手机游戏下载平台门户网站,为你推荐2020年最新热门十大手游排行榜,提供最新安卓手游、网络游戏、手机软件及常用电脑软件下载。是你玩手游最亲密的手游门户网站!

    42824.com
  • 42824手游网42824手游网

    42824手游网-和玩家一起玩最新好玩的手游!为你推荐2020年最新热门十大手游排行榜,提供最新安卓手游、网络游戏、手机软件及常用电脑软件下载。是你玩手游最亲密的手游门户网站!

    shouyou.42824.com
  • 站长啦官网大全站长啦官网大全

    站长啦网站分类目录官网大全汇集全国所有高质量网站,是中国权威的中文网站分类目录,给站长提供免费网址目录提交收录和推荐最新最全的优秀网站大全,是网友上网冲浪的名站导航之家。

    www.cnzzla.cn

最新优秀网站