如何分辨百度搜索引擎爬行蜘蛛IP的真假_王金亮博客
投稿
  1. 王金亮博客首页
  2. SEO优化

如何分辨百度搜索引擎爬行蜘蛛IP的真假

王金亮 • • SEO优化 • 阅读 244

作为一名SEOer不仅要知道百度搜素引擎有哪些爬行的爬行IP，而且还要学会分辨真假蜘蛛，很多网站和第三方工具会冒充百度的IP地址进行爬行网站，如果只是从IP来分析的话，大多数SEOer会误以为是百度来爬行了，其实并不是百度来了。

如何分辨百度搜索引擎爬行蜘蛛IP的真假

在讨论百度蜘蛛话题的时候被讨论最多的就是蜘蛛来的太频繁或者是蜘蛛很久都没来了，蜘蛛抓取太频繁的话会造成服务器爆炸不稳定，所以很多SEOer都想把那些不是真正的蜘蛛IP加入黑名单进行屏蔽掉，但是奈何百度官方平没有公布蜘蛛的IP地址，根据官方的说法是IP不固定，因为采用的是动态IP地址库，所以每次访问的IP都不是同一个（博主之前发布的百度蜘蛛IP大全是其他站长进行反复测试得出来的结果，并未官方发布的IP地址）。

百度搜索引擎爬行蜘蛛IP大全及详解

如果蜘蛛爬行抓取的周期慢，或者长期不来的话又会对网站的收录排名产生影响，所以很多SEOer在屏蔽那些假蜘蛛IP的时候经常会误把真蜘蛛当成假蜘蛛给屏蔽掉，所以就造成了蜘蛛无法抓取的原因，下面博主就给大家介绍几种分辨百度真假蜘蛛IP的方法。

查看UA信息

查看UA信息，UA信息是蜘蛛爬行后留下的签名信息，百度虽然没有公布过蜘蛛的IP地址，但是公布过蜘蛛的UA信息，如果UA信息和百度公布的相同，那么久代表是真蜘蛛来过，反之则是假蜘蛛。

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA：

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

把你的网站日志下载下来，通过记事本的方式打开，把百度的UA信息复制一下，然后再日志信息里面使用CTRL+F调出查找工具，把复制的UA信息粘贴进去进行查找，如果找到对应的UA信息那就代表是真蜘蛛来过，如果没找到则代表真蜘蛛没来过。

查看蜘蛛的UA信息

DNS反查IP

通过DNS反查IP指的是根据蜘蛛留下来的IP地址去反查对方IP的信息，如果是百度的真蜘蛛，那么反查的IP名称（hostname）就会是以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。而且还会出现baiduspider的字样（如下方百度官方给出的参考）。

DNS反查蜘蛛真假

通过DNS反查IP用的是一种代码指令，不同的操作平台使用的指令也是不同的，比如：linux、windows、Mac OS这三个操作平台，使用的指令为host、nslookup、dig，查询的格式为：host ip（ip=ip地址）、nslookupip（ip=ip地址）、digip（ip=ip地址）。例如：host 220.181.XXX.XXX 或 nslookup 220.181.XXX.XXX 或 dig host 220.181.XXX.XXX

Windows通过DNS反查IP

下面是博主使用DNS反查IP的过程，博主使用的电脑系统是Windows 7，所以使用的查询命令为nslookup。

第一步：使用win+R打开调出运行窗口，输入CMD进入管理界面。

运行电脑管理器

第二步：输入nslookup+ip，按回车键后就可以看到对应的IP信息

通过nslookup查看蜘蛛ip信息

说明：因为博主的电脑没有设置反向查询，使用nslookp查询的时候会返回服务器Unkown，所以查询IP的时候要先更换本地DNS的IP地址。

站长工具-百度真假蜘蛛查询

如果你不想一条一条的去查，那么你还可以使用站长工具里面的百度真假蜘蛛查询工具，虽然这不是官方给出的查询方法，但是也可以做一个参考，站长工具里面的真假蜘蛛查询每次可批量查询20个IP地址，比起单个查询的效率要高一点。

站长工具分辨百度蜘蛛真假

版权声明：若无特殊注明，本站文章皆为王金亮博客原创，转载请保留文章出处。

本站原创文章，作者：王金亮，如若转载，请注明出处：https://www.jayseoer.com/878.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
王金亮王金亮站点创始人
0 9
« 上一篇 2020年8月6日 13:37:08
下一篇 » 2020年8月9日 10:43:08

相关推荐

  • 404错误页面设置不当对SEO有什么影响 SEO优化

    404错误页面设置不当对SEO有什么影响

    404错误页面设置不当对SEO的影响，正确设置自定义404错误页面可以增强用户体验、帮助用户找到所需要的其他信息或进一步引导用户浏览网站，但是如果设置不当，严重的甚至会导致网站被降…

    王金亮 王金亮
    2020年7月6日 0 165 0
  • 网站图片SEO优化应该怎么做 SEO优化

    网站图片SEO优化应该怎么做

    作为一名SEOer人员一定要学会图片SEO优化，现在百度对图片优化这块相当的看重，并且会抓取并收录图片，最直接的表现就是搜索某一个关键词点击【图片】的时候能看见一大堆的相关图片，由…

    王金亮 王金亮
    2020年7月12日 0 121 0
  • 什么是SEO？SEO应该怎么做 SEO优化

    什么是SEO？SEO应该怎么做

    相信很多人都会问，什么是seo？seo有什么用？其实seo是引擎优化是一种利用搜索引擎的搜索规则来提高目前网站在有关搜索引擎内的自然排名的方式。seo的目的理解是：为网站提供生态式…

    王金亮 王金亮
    2020年7月6日 0 239 0
  • 今日头条搜索引擎seo如何优化 SEO优化

    今日头条搜索引擎seo如何优化

    在读过一篇文章之后，看到作者写的一个句子，让我感触良多。“对于全国绝大多数人来说，百度=搜索引擎，想要改变这个概念，还有很长的路要走。”事实上，百度，作为国内搜索引擎的领导者，其地…

    王金亮 王金亮
    2020年9月18日 0 136 2
  • 360搜索引擎爬行蜘蛛IP大全及解析 SEO优化

    360搜索引擎爬行蜘蛛IP大全及解析

    与百度一样，作为国内的三大搜索引擎之一的360搜索也有着自己的蜘蛛IP，在爬行抓取网站或者网页的时候都会留下自己的足迹，为了满足各位站长或者SEOer人员的需要，博主在这里把360…

    王金亮 王金亮
    2020年8月3日 0 168 0

发表评论

电子邮件地址不会被公开。 必填项已用*标注

记住昵称、邮箱和网址，下次评论免输入

评论列表（9条）