爬行和索引之间的区别是什么 - 汇能之窗网
推广 热搜: SEO  广州  贷款  深圳  网站建设  医院  用户体验  贵金属  机器人   

爬行和索引之间的区别是什么

   日期:2013-12-11 10:23:28     来源:互联网    作者:258信息网    浏览:1    
核心提示: 爬行和索引是seo的两个专业术语,当很多新手接触seo的时候,他们会将这两个词混合使用,认为爬行就是索引。今天笔者就和大家仔

  爬行和索引是seo的两个专业术语,当很多新手接触seo的时候,他们会将这两个词混合使用,认为爬行就是索引。今天笔者就和大家仔细讲述一些爬行和索引之间的区别是什么?

  1、爬行

  当搜索引擎蜘蛛在站点中发生爬行时,站点中有一个并且只有唯一一个url被抓取,搜索引擎可以从其他网页的链接跟踪爬行到这个站点中,所以对爬行的认识就是搜索引擎按照链接对站点特定的url进行抓取。

  可能上面的概念比较抽象,我们举例简单说明,比如说,在很多时候蜘蛛在爬行站点的时候,站点中的有些链接就不能被抓取,比如:

  (1)链接编码是Javascript,因为这被称为“蜘蛛陷阱”,爬行站点的时候,蜘蛛会自动屏蔽爬行这些链接。

  (2)链接被标记为robots.txt的 “禁止指令。

  (3)孤立的链接(没有人挂的情况下的sitemaps.xml,包括如链接)

  (4)链接所在的页面是一个包含链nofollow指令的页面

  (5)本来是要抓取的链接,但是因为服务器不稳定的原因无法进行抓取。

  2、索引

  索引和爬行最大的区别就是,索引不是一个特定的url被抓取,而是页面中的很多歌url,简单的说就是当搜索引擎确定好要索引哪个页面之后,它就会这个页面中的所有url进行处理和抓取,在抓取的过程中,蜘蛛会根据页面的内容进行适当的处理,举一个简单的例子,在有的页面内容中虽然存在一个url但这个url已经加上了NOINDEX指令,那么搜索引擎是不会抓取这个页面的。

  站点页面处于非索引状态的原因:

  (1)在页面中含有NOINDEX指令()

  (2)重复的内容:具有相同内容页面可能无法被索引。

  (3)其他原因:链接的年龄和链接流行

  如果新手想知道站点中的哪些页面已经被索引了,那么可以通过“site+网站域名”的方式检索,通过这样的方式,搜索引擎将会显示有多少个页面已经被蜘蛛所引并且是哪些页面。

  爬行和索引虽然表示的都是蜘蛛抓取站点,但他们所包含的方向是不一样的,这里笔者建议注意区分开。
 
免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。 汇能之窗网对此不承担任何保证责任, 汇能之窗网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。

本文地址:http://www.wlchinahn.com/news/SEOyouhua/201312/263.html

打赏
 
更多>同类资讯

推荐图文
推荐资讯
点击排行

网站首页  |  付款方式  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  积分换礼  |  RSS订阅  |  违规举报  |  粤ICP备11090451号

免责声明:本站所有信息均来自互联网搜集,产品相关信息的真实性准确性均由发布单位及个人负责,请大家仔细辨认!并不代表本站观点,汇能之窗网对此不承担任何相关法律责任!如有信息侵犯了您的权益,请告知,本站将立刻删除。