首页>>SEO技术
近期,小编经常收到开发者关于“哪些蜘蛛是百度搜索的”、“如何才能正确识别百度蜘蛛”的提问。
今日干货带你简单两步即可识别百度蜘蛛
一、查看UA信息
如果UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛。
目前UA分为移动、PC、和小程序三个应用场景,分别如下:
【移动UA】
1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
【PC UA】
1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
【小程序UA】
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
二、双向DNS解析认证
第一步:DNS反查IP
开发者可以对日志中访问服务器的IP地址进行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
在Linux/Windows/OS三种平台下,验证方法分别如下:
1) 在Linux平台下,可以使用host IP命令反解IP来判断该抓取是否来自Baiduspider。
2) 在Windows平台或者IBM OS/2平台下,可以使用nslookup IP命令反解IP:打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。
3) 在macOS平台下,可以使用dig命令反解IP:打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。
第二步:对域名运行正向DNS查找
对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。
【示例】
> host 111.206.198.69
69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.
>hostbaiduspider-111-206-198-69.crawl.baidu.com
baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69
- 上一篇: 广告投放转化问题7步分析法(建议收藏!)
- 下一篇: SEO排名,内容的重要性有哪些?
猜你喜欢
- 2024-02-23 提高小红书运营效率的6个工具
- 2022-11-10 【官方文档】百度搜索网站被黑防范指南
- 2022-11-03 【干货必备】百度搜索优质内容指南
- 2022-08-01 百度隐藏“快照”功能:原因未知-百度快照没了?
- 2022-06-20 浅析“百度搜索基础信息设置规范”!
- 2022-06-15 SEO尴尬,有排名,没流量,没咨询,怎么办?
- 搜索
-
- 2024-04-07 小红书+抖音+直播常见违禁词及替换方法
- 2024-03-14 刷量成风,广告主损失惨重?该被重视了!
- 2024-03-06 代理投的好,还需要招自己的优化师吗?
- 2024-02-23 提高小红书运营效率的6个工具
- 2024-02-23 千川投放百宝书:2万字详解,一篇全掌握!
- 2024-02-20 年后求职15个关键面试问题,助优化师脱颖···
- 2024-01-31 不行就去做销售吧!
- 2024-01-09 合格的优化师,需具备这6项思维能力!
- 2023-12-28 25个金句文案句式,直接套!
- 2023-12-05 做私域必备的10个朋友圈黄金模板
- 2023-12-05 15个爆款短视频文案技巧,看完立马用!
- 2023-11-27 浅析:《百度搜索优质内容解读》,当下百度···
- 2019-11-01 Origin DNS error:使用百···
- 2020-06-20 “401 - 未授权: 由于凭据无效,访···
- 2020-12-01 一级域名好还是二级域名好?
- 2020-10-13 百度抓取诊断工具一直抓取失败怎么办?
- 2019-12-09 域名解析后,网站返回状态码511应对方法
- 2020-04-10 百度下拉框怎么刷?刷百度下拉框软件原理及···
- 2019-08-12 网站出现“403,服务器上文件或目录拒绝···
- 2021-04-13 html/txt文件中文用浏览器打开有乱···
- 2021-01-06 百度移动端的搜索结果上线“踩顶”功能,对···
- 2020-09-03 element.style样式的修改
- 2019-11-06 正确打开.db数据库文件的两种方式,避免···
- 2020-10-20 UC神马搜索怎么做快速排名优化
- 2022-09-27 百度竞价:对SEO自然排名,有直接影响吗···
- 2019-12-05 你知道吗?SEO与HTML标签权重之间的···
- 2022-04-26 谈SEO报价,白帽SEO钱都花在哪里了?
- 2022-11-10 PbootCMS 默认Sqlite数据库···
- 2022-08-17 升级提示 执行SQL发生错误!错误:du···
- 2019-11-08 主要针对b2b作弊,思考《细雨算法》2.···
- 2021-01-06 百度移动端的搜索结果上线“踩顶”功能,对···
- 2020-08-31 利用SEO赚钱前景如何?
- 2019-10-11 合肥某包装企业:快照劫持!被黑情况剖析
- 2019-04-08 网站日志咋分析?
- 2023-05-26 马斯洛需求层次理论金字塔
- 2022-06-15 SEO尴尬,有排名,没流量,没咨询,怎么···
- 热门标签
-
- 热力图
- UEO
- 点击热力图
- 二级域名
- 二级目录
- seo中介
- seo众包平台
- 搜索指令
- 百度高级命令
- 百度搜索组合命令
- 刷权重
- 黑帽SEO
- 刷点击软件
- 快排
- VBS病毒
- html病毒
- 百度算法
- 极光算法
- seo优化
- 镜像站
- 网站优化
- 301跳转
- 301重定向
- 首选域
- 网安备案
- 网站公安备案
- 蜘蛛池
- 黑帽
- 链接工厂
- 细雨算法
- php挂马
- 快照劫持
- 篡改php源码
- SEO按天扣费
- seo包年
- 空链接
- href#属性
- ftp
- 同义词
- 百度搜索同义词
- 百度收录量
- 索引量
- 增加收录
- 收录和排名
- https改造
- 重复收录
- 刷百度排名
- 模拟点击工具
- 网站缩略图
- seo抓取
- url重定向
- uso
- seo
- 用户体验优化
- 惊雷算法
- 2.0
- 打击快排
- seo套路
- seo外包
- 苦逼seo
- 谷歌seo
- 域名icp备案
- js的优化
- JavaScript与seo
- 排名波动
- 内容质量
- sem
- 竞价和优化
- seo方案
- 爱站关闭
- 爱站关站
- 无法访问
- ftp无法列目录
- ftp登录
- 烽火算法
- https
- 网站劫持
- 服务器安全
- 网站页面
- 跳出率
- SEO
- 网站设计
- web前端
- seo顾问
- seo咨询服务
- 关键词优化
- 网站备案
- 备案流程
- js压缩
- 前端
- 手机站
- 营销型
- 手机站布局
- html
- 搜索引擎优化
- 合肥seo优化
- 网站漏洞
- 网站被黑
- 百度权重