SEO优化 > SEO资讯 / 造成Baiduspider抓取异常的原因
有一些网页,内容优质,用户也可以正常访问,但是Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎对站点都是一种损失,百度把这种情况叫“抓取异常”。对于...
有一些网页,内容优质,用户也可以正常访问,但是Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎对站点都是一种损失,百度把这种情况叫“抓取异常”。对于大量内容无法正常抓取的网站,百度搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、排序上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。
下面向站长介绍一些常见的抓取异常原因:
1,服务器连接异常
服务器连接异常会有两种情况:一种是站点不稳定,Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况;一种是Baiduspider一直无法连接上您网站的服务器。
造成服务器连接异常的原因通常是您的网站服务器过大,超负荷运转。也有可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了Baiduspider的访问,您需要检查网站和主机的防火墙。
2,网络运营商异常:网络运营商分电信和联通两种,Baiduspider通过电信或网通无法访问您的网站。如果出现这种情况,您需要与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务。
3,DNS异常:当Baiduspider无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析,如果不正确或无法解析,请与域名注册商联系,更新您的IP地址。
4,IP封禁:IP封禁为:限制网络的出口IP地址,禁止该IP段的使用者进行内容访问,在这里特指封禁了BaiduspiderIP。当您的网站不希望Baiduspider访问时,才需要该设置,如果您希望Baiduspider访问您的网站,请检查相关设置中是否误添加了BaiduspiderIP。也有可能是您网站所在的空间服务商把百度IP进行了封禁,这时您需要联系服务商更改设置。
5,UA封禁:UA即为用户代理(User-Agent),服务器通过UA识别访问者的身份。当网站针对指定UA的访问,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁。当您的网站不希望Baiduspider访问时,才需要该设置,如果您希望Baiduspider访问您的网站,useragent相关的设置中是否有Baiduspider UA,并及时修改。
6,死链:页面已经无效,无法对用户提供任何有价值信息的页面就是死链接,包括协议死链和内容死链两种形式:
协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的如404、403、503状态等。
内容死链:服务器返回状态是正常的,但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。
对于死链,我们建议站点使用协议死链,并通过百度站长平台--死链工具向百度提交,以便百度更快地发现死链,减少死链对用户以及搜索引擎造成的负面影响。
7,异常跳转:将网络请求重新指向其他位置即为跳转。异常跳转指的是以下几种情况:
1)当前该页面为无效页面(内容已删除、死链等),直接跳转到前一目录或者首页,百度建议站长将该无效页面的入口超链接删除掉
2)跳转到出错或者无效页面
注意:对于长时间跳转到其他域名的情况,如网站更换域名,百度建议使用301跳转协议进行设置。
8,其他异常:
1)针对百度refer的异常:网页针对来自百度的refer返回不同于正常内容的行为。
2)针对百度ua的异常:网页对百度UA返回不同于页面原内容的行为。
3)JS跳转异常:网页加载了百度无法识别的JS跳转代码,使得用户通过搜索结果进入页面后发生了跳转的情况。
4)压力过大引起的偶然封禁:百度会根据站点的规模、访问量等信息,自动设定一个合理的抓取压力。但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁。这种情况下,请在返回码中返回503(其含义是“Service Unavailable”),这样Baiduspider会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。
- 上一篇:谷歌廉价机遭到国产狼攻击
- 下一篇:【移动搜索】PC站点移动化主流方式
猜你喜欢
- 2018-10-17 2018年10月16日 百度发布“清风算法3.0”
- 2018-09-16 2017年11月29日 360发布“八戒算法”
- 2018-09-16 2018年09月13日 百度发布“飓风算法2.0”
- 2018-09-16 2018年06月28日 百度发布“细雨算法”
- 2018-09-16 2018年05月31日 百度发布“极光算法”
- 2018-09-16 2018年05月23日 百度发布“惊雷算法2.0”
- 2018-09-16 2018年05月17日 百度发布“烽火算法2.0”
- 2018-09-16 2018年04月19日 百度发布“清风算法2.0”
- 2018-04-18 谷歌算法都不知道,你还做什么英文SEO?
- 2018-03-15 黑帽真牛,吊打百度各种算法,百度工程师看到都会哭了
- 搜索
-
- 10-17【百度搜索下载站质量规范】推荐!
- 05-13做网络推广,常用的哪些途径
- 04-11【SEO优化过程】一个网站的优化历程
- 03-31网站建设需要注意的几大事项,少走弯路!
- 03-272018年门户网站如何进行优化?八大技巧!
- 03-18站长:我为什么要放弃wordpress
- 03-15黑帽真牛,吊打百度各种算法,百度工程师看到都会哭了
- 01-07如何去掉织梦网站首页后面的index.html
- 12-27网站logo审核和首页展示之间的微妙关系
- 11-09百度搜索资源平台上线,业内大佬送祝福!
- 10-19百度推出《闪电算法》,看看官方如何解读?
- 09-25Seo 网站优化之软文优化
- 09-13seo人员必备浏览器插件SEO工具
- 09-05【SEO优化知识总纲导图】+优化心得!
- 08-28七夕虐狗-这是一个不正经的SEO篇章
- 08-25什么样的页面不受欢迎?你一定要知道
- 08-25我的SEO工作历程,每天进步一点点
- 08-24网站迁移后对重新开始seo的见解
- 08-24分享我做seo的经历和总结
- 08-23关于一些公司对seo新人的误导
- 08-22转载文章的站排在前面怎么办!
- 01-252017年移动端有多重要?你想不到!
- 01-22你的网站外链需要做到广泛地发布
- 01-18教你写出原创好文章,让流量飞扬!
- 01-17你所不知道的目标关键词,它又如何布局?
- 01-15如何在百度搜索推广拓展关键词?
- 01-14从SEOer角度来看待一个网站成长
- 01-14对于网站改版的情况我们应有什么措施?
- 01-14我在公司一年的SEO优化心得
- 01-12我的八年站长之路,不断学习SEO专业知识!
- 2020℃已收录的文章能不能修改?
- 1697℃nofollow可以这样使用
- 1371℃百度站长平台:xml格式sitemap的基础制作方法
- 1346℃如何对图片处理更有利于谷歌SEO?
- 1279℃Google搜索引擎引入AI算法 搜什么都帮你找得到
- 1263℃链接提交方式及效果讲解
- 1261℃移动搜索获得良好展现的注意事项
- 1256℃SEO学习:(六)怎么样剖析关键字的价值?
- 1253℃如何提升网站的UV量
- 1253℃百度算法更新与收录变化历史记录
- 1236℃哪一些外链建设渠道对于网站优化最有帮助
- 1235℃高级更新网站内容的方法
- 1231℃【移动搜索】如何让百度准确地识别页面类型
- 1226℃社交分享化外链有用吗?
- 1222℃百度超链算法升级 2015年
- 1222℃从“商业推广”到“广告”,百度搜狗被调查背后付费商业广告何去何从?
- 1217℃为什么网站的名次越优化越往下掉?
- 1215℃Baiduspider抓取过程中涉及的网络协议详解
- 1210℃SEO篇章解答快照更新慢的影响
- 1200℃谷歌排名算法因素,社交信号不作为引起
- 1182℃网站文章内的内链要不要做?
- 1180℃百度新搜索升级,Baidu Spider3.0都有哪些功能
- 1179℃谷歌调整算法,打击应用安装广告的网站
- 1177℃SEO优化不要沉溺于技术而要寻找用户和搜索引擎直接的平衡点
- 1176℃网站排名下降原因总结
- 1171℃苹果、谷歌等巨头拒绝美国政府调用数据
- 1167℃搜索引擎优化效果显著提升的方法都有哪些
- 1163℃带你了解谷歌智能算法RankBrain
- 1163℃解密如何正确识别Baiduspider移动ua
- 1159℃Spider抓取系统的基本框架详解
- 11-07新站上线前的流程该注意哪些事项?
- 11-02记一次seo人员渗透同行网站,看我如何拿下客户账号
- 10-31360搜索引擎蜘蛛IP段更新公布(官方)
- 10-01你知道做百度知道的技巧吗?来看看吧!
- 09-19新站怎么样稳当的度过沙盒效应一段时间
- 09-19哪一些外链建设渠道对于网站优化最有帮助
- 09-19关键字的权重主要存在于那些地方
- 09-19优质外链和垃圾外链的有意思分解
- 09-19搜索引擎网站判定胜负网页品质重点参照的参变量
- 09-19SEO学习:(六)怎么样剖析关键字的价值?
- 09-19SEO学习:(七)网站关键词的应用和布局
- 09-19SEO学习:(八)域名有关知识
- 09-15企业网站seo:现在做外链还有没有效果
- 09-15搜索引擎优化如何走出外链建设的误区
- 09-15SEO优化页面权重分配算法及传递规律
- 09-15黑帽seo神器黑侠外推蜘蛛池V1.3完整破解版
- 09-152016年6月份百度搜索引擎这是干嘛了?srcid=101 到底是神马?
- 09-15seoer需要从哪些角度去挖掘用户的需求
- 09-15网站优化排名如何布局内链才能将SEO做到最好?
- 09-15百度新搜索升级,Baidu Spider3.0都有哪些功能
- 09-15资源不可用却已产生地址的链接,千万不要返回404
- 09-09百度遭代理商逆击:好在转型还有时间
- 09-09搜狗发布语音交互引擎“知音” 支持多轮交互实时纠错
- 09-09受不了百度谷歌?安利做了自己的搜索引擎
- 09-09SEO优化不要沉溺于技术而要寻找用户和搜索引擎直接的平衡点
- 09-09Google搜索引擎引入AI算法 搜什么都帮你找得到
- 09-09官方解读:CDN对网站在搜索引擎中的影响
- 09-09魏则西事件后 搜索引擎该怎样监管
- 09-09内外力交织下 百度搜索引擎的“自我进化”
- 09-09SEO优化之百度搜索引擎研究
- 标签列表