SEO优化 > 网站优化 / 关于NoIndex, NoFollow, Canonical, Disallow的SEO密码
SEO们很多都知道这几个关键词:NoIndex,NoFollow,Canonical和Disallow。但是笔者接触下来许多SEO们对这些蜘蛛指引(Search Engine Directives)的理解不足。其实这会造成网站收录和排名的重大影响。本篇,我们就以此作为专题,来介绍各个指引的作用并通过比较来说明它们之间的细微差异。Link J...
SEO们很多都知道这几个关键词:NoIndex,NoFollow,Canonical和Disallow。但是笔者接触下来许多SEO们对这些蜘蛛指引(Search Engine Directives)的理解不足。其实这会造成网站收录和排名的重大影响。本篇,我们就以此作为专题,来介绍各个指引的作用并通过比较来说明它们之间的细微差异。
Link Juice,Link Equity
要理解这些概念,首先我们要对经典的PageRank算法有所了解。出于篇幅的考虑,我们暂且把一个页面所具有的SEO能力叫做大家熟悉的“权重”,这个权重具有流动性,高权重的页面会传递更多权重给它所链接的页面,这个链接不仅是站内链接,还包括我们俗称的外链。另外,页面上的链接越多,每个链接传递出的权重就越低。权重就像知识,传递后传递者不会减少,而被传递者会增多。而我们把所说的传递的权重的量叫做“Link Juice”,或者“Link Equity”。我们且把它翻译成“链接权重”,有时候我们也可以把它看做一种“投票”。
PageRank算法意图,页面权重由总链入权重决定,链出时平分权重
NoIndex:
NoIndex就如它字面的意思,是告知搜索引擎不要索引该页面。用法如下,其他用法见Wikipedia。Google还支持X-Robots-Tag HTTP header中的NoIndex信息用来支持pdf这种非HTML文档。
<meta name=”robots” content=”noindex“>
被设为NoIndex的页面无法获得页面权重。但是并不是说这个页面所链出的页面就无法获得链接权重。只要该页面未被设为NoFollow,其一样具有“临时权重值”,而这个值会流出到它所链出的页面。
NoIndex虽被Google,Yahoo等主流搜索引擎所使用,但百度尚不支持该标签。因此我们若不想页面被百度索引,还需要使用robots.txt。
NoFollow:
NoFollow的意思就是请搜索引擎蜘蛛留步。有两种用法,其一是和上面NoIndex一样,表示“不要再继续抓取这个页面链出的任何链接”:
<meta name=”robots” content=”nofollow“>
另一种是指定不要抓取某个特定链接:
<a href=”https://www.seopz.com/” rel=”nofollow”>Link text</a>
要查看NoFollow,你可以通过极诣介绍过的那几个实用的SEO插件来实现。
NoFollow阻止了链接权重向目标页面流动,被NoFollow的页面将无法获得链接权重。如果如上述第二种方法部署就相当于减少了权重流出的目的地数,从而每个目标页面获得的链接权重会相应增加。在经典的技术SEO中,通过应用NoFollow可以很好地防止“权重分散”,更重要的是它可以有效利用搜索引擎的Crawl Budget,即抓取配额。
我们注意到,搜索引擎并不是每次抓取网站时都把网站遍历一遍的。你可以通过分析网站服务器的访问记录了解搜索引擎的爬虫行为。为了防止蜘蛛漫无目的地爬行,你需要使用NoFollow来指引蜘蛛在有限的爬行页面数配额内抓到你的“重点内容”,起码是你认为的高质量内容。如果蜘蛛的抓取配额大量浪费在垃圾页面上,那么优质页面的收录就会造成问题。
百度支持NoFollow标签的上述两种用法。
Canonical:
Canonical标签用于声明页面的唯一原型页面。它通知搜索引擎当前页面是Canonical页面的一个变种,当考虑收录时需忽略变种而收录原型页面。用法如下:
<link rel=”canonical” href=”https://www.seopz.com/” />
Canonical并不阻止搜索引擎蜘蛛的爬行,而仅仅对收录做出指引,它可以有效避免重复内容带来的负面影响。Canonical的另一个优点是变种页面获得的链接权重会被带回它的原型页面。同时变种页面流出的链接权重依然有效。尽管有这些优点,Canonical并不能节省抓取配额,因此当搜索引擎需要爬行大量变种页面时索引效率会下降。
百度支持Canonical标签。但仅限于桌面和移动版本之间的适配和MIP页面。
Disallow:
Disallow是在robots.txt中对搜索引擎爬虫的指引参数。它表示“请不要抓取这些页面”。请注意它并不表示“请删除这些被索引的页面”。尽管某些页面被设为Disallow,搜索引擎仍然可能索引这样的页面(注:下图中百度蜘蛛的大小写不敏感,因此不必重复一遍。):
百度无视优衣库屏蔽索引强行索引展示结果(也有可能为Disallow之前被索引)
尽管搜索引擎(不仅仅是百度,谷歌一样会)可能不遵守robots.txt,robots.txt的Disallow依然是节省抓取配额并阻止百度这样不遵守NoIndex指引的搜索引擎索引特定页面的有效方式。Disallow的缺点同样很明显,首先被Disallow的页面无法被爬行和索引因此无法贡献链接权重给其链出的页面,其自身的权重也无从谈起。另一个缺点是它会浪费指向它的来自其他网站的外链带来的宝贵的链接权重。
NoIndex + NoFollow:
理解了NoIndex和NoFollow的意义,两者同时应用的作用就不难理解了。这里要再次提醒下,百度并不支持NoIndex标签。NoIndex,NoFollow同时应用无法给该页面带来页面权重,因为该页面不会被索引。同时也没有任何链接权重可以流向被链接到的页面。如果外链指向该页面将会造成链接权重的损失,搜索引擎还是会对该页面进行爬行从而无法节省抓取配额。
由此我们看出NoIndex + NoFollow与Disallow相比没有任何优势,只是在页面管理方面比动态robots.txt更灵活。如果该页面只是一个变体,我们推荐使用Canonical,这样虽然还会消耗抓取配额,但是页面权重和链接权重得以保留。
NoIndex,Follow
同单独使用NoIndex,不赘述。
总结一下
我们把上述内容总结一下,见下图:
这样一来,通过比较我们就可以对各种应用的细微差别有更清晰的认识。
- 上一篇:2018年SEO的趋势,加速布局的一年
- 下一篇:新站上线如何做好SEO优化?
猜你喜欢
- 2019-06-17 移动代码适配 虚拟空间怎么添加Vary HTTP标头
- 2019-04-02 推广人员都容易走入的渠道筛选误区,你是否也迷茫过
- 2018-11-28 做seo的常见误区,都是比较常见但非常重要的点
- 2018-10-17 【百度搜索下载站质量规范】推荐!
- 2018-06-08 网站的整个建站流程你知道吗?来学学把
- 2018-05-21 自媒体伪原创应该怎么做
- 2018-05-17 淘宝商品的seo应该怎么做?
- 2018-05-16 老域名在SEO中的优势
- 2018-05-09 做seo为何总是差强人意
- 2018-05-08 网站设计架构与SEO的关系
- 搜索
-
- 06-17移动代码适配 虚拟空间怎么添加Vary HTTP标头
- 11-28做seo的常见误区,都是比较常见但非常重要的点
- 08-10好久不见,写了一篇近期优化心得
- 05-24百度的更多的商业变现模式
- 05-23百度SEO优化最重要的5大影响因素
- 05-22淘宝seo:真正的标题优化原来是这样做的
- 05-21自媒体伪原创应该怎么做
- 05-18搜索引擎在寻找什么?
- 05-17淘宝商品的seo应该怎么做?
- 05-16老域名在SEO中的优势
- 05-15seo的逐渐发展,趋势在哪儿?
- 05-12淘宝SEO,选品、数据的精准性是怎么影响转化的
- 05-10seo的一些小技巧
- 05-09做seo为何总是差强人意
- 05-08网站设计架构与SEO的关系
- 05-07新站从创建到上线需要注意哪些SEO优化内容
- 05-06那天晚上,我没忍住
- 05-05SEO重点 关键词如何定位
- 05-02我是怎么把关键词做上去的?
- 05-01百度是如何记录点击行为的?【五一大招】
- 04-27百度搜索引擎工作原理解读
- 04-26SEO优化不得不知的长尾关键词策略
- 04-25那些关于seo的事情
- 04-24新媒体运营的工作前景怎么样?
- 04-23如何进行有效的伪原创?
- 04-21SEO 网站优化的步骤和技巧有哪些?
- 04-20SEM和SEO的区别?
- 04-18谷歌算法都不知道,你还做什么英文SEO?
- 04-16常见的一些seo的方面
- 04-15服务器和SEO的关系
- 2040℃百度SEO全面升级,关键词vpn被封禁!
- 1734℃真实的北京:大部分人不吃不喝也买不起房
- 1651℃如何查看域名历史快照
- 1575℃百度小白近日公布ROM30将于06月24日发布
- 1384℃网站seo优化中常会用到的几个搜索指令
- 1367℃seo和sem的区别
- 1358℃新站的SEO优化注意事情的项目
- 1305℃网站优化不一定非要添加关键词和描述
- 1305℃父亲节的网络营销市场
- 1304℃网站优化我们该避免进入哪些误区
- 1300℃百度推广账户预算调整每日最多修改30次
- 1295℃seo篇章为什么要换域名
- 1292℃seo建站篇(二):建立一个站点的八大步骤
- 1287℃网络营销之四大搜索引擎在站长圈的发展走向
- 1278℃如何按照百度要求全面性的优化网站
- 1273℃网络营销之核心竞争力让用户求着你
- 1266℃SEO越来越难做的4大原因?
- 1265℃提升自己网站的品牌词指数的几种方式
- 1257℃随便谈谈nofollow和网站优化之间的联系
- 1253℃突破SEO优化技术瓶颈的一些小心得
- 1250℃网站长久不更新会有哪些不利的影响
- 1249℃导致网站排名不稳定的原因
- 1246℃SEO优化之sitemap权限大放送—百万sitemap邀请开始啦
- 1222℃为何明明感觉优化都到位了网站还是没有排名
- 1216℃百度搜索Spider3.0升级对站点有什么好处
- 1212℃百度快照的今天,我如何寻找seo图标素材
- 1212℃网站seo该怎么拓展有效的长尾关键词
- 1211℃上海SEO博客刚开始建时站内优化操作
- 1207℃如何认识和看待买卖链接行为
- 1197℃阅读《SEO的艺术(原书第2版)》
- 03-15知乎是怎么把 SEO 做起来的?(图文)
- 11-21关于惊雷算法的看法
- 11-05如何做好网站专区/专题?
- 11-04网站文章如何写比较好?这些技巧你意想不到!
- 11-03移动端域名的选择以及三大标签
- 11-02浅谈“关键词”布局、密度、存放位置
- 11-01网站被K之后快速恢复技巧(下)
- 10-31网站被K之后快速恢复技巧(上)
- 10-30浅谈网站中的布局与建网站的注意事项
- 10-29网站优化发展历史
- 10-28认识网站优化中的404以及注意事项
- 12-05说说百度人工干预排名
- 11-26SEO五大问题解答,个个干货!
- 11-24网站地址怎么来做网站优化呢?
- 11-23我们应当如何看待移动SEO?
- 11-20网站优化最难能可贵的是坚持
- 11-16怎么有效的对百度权重优化?
- 11-13快速排名如何点击?每个站长都该知道!
- 11-12百度快照的更新时间与权重之间存在什么关系?
- 11-09企业站如何做seo,又如何调整
- 11-08想做好SEO必须学会坚持并且付诸于实践
- 11-05SEO幽默一笑:弟弟攻击?是DDOS攻击!
- 11-052016年SEO人员如何写出适合网站优化的TDK
- 10-04篇章教你怎么看精准网站外链
- 10-03别人为什么不想跟你换友情链接?原因在这!
- 10-02教你如何找搜索引擎的高质量原创文章!
- 09-30做了这么久的seo,你知道怎么快速找有用的分类目录吗?
- 09-20更新保护网站最好要合适的几个处理办法
- 09-20为什么确实感受优化都到位了网站仍然没有名次
- 09-20SEO篇章:新站忽然排名全无是什么状况?
- 标签列表