站长基础交流之13个实用的robots文件常见用法说明 站长必备 - 汇能之窗网
推广 热搜: SEO  广州  贷款  深圳  网站建设  医院  用户体验  贵金属  机器人   

站长基础交流之13个实用的robots文件常见用法说明 站长必备

   日期:2017-12-11 00:45:56     来源:互联网    作者:微发信息网    浏览:0    
核心提示:仅当您的网站里面含有不期望被搜索引擎网站收录的内部实质意义时,才需求运用robots.txt文件。假如您期望搜索引擎网站收录网站上

 仅当您的网站里面含有不期望被搜索引擎网站收录的内部实质意义时,才需求运用robots.txt文件。假如您期望搜索引擎网站收录网站上全部内部实质意义,请勿树立robots.txt文件。

  查缉该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中开创一个robots.txt,在文件中声明 该网站中没想到被搜索引擎网站收录的局部还是指定搜索引擎网站只收录特别指定的局部。

例1.严禁全部搜索引擎网站过访网站的不论什么局部 下载该robots.txt文件User-agent:* Disallow:/ 
例2.准许全部的robot过访 (还是也可以建一个具文件"/robots.txt")User-agent:* Allow:/
例3.仅严禁Baiduspider过访您的网站User-agent:Baiduspider Disallow:/ 
例4.仅准许Baiduspider过访您的网站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/ 
例5.仅准许Baiduspider以及Googlebot过访User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.严禁spider过访特别指定目次 在这个例子中,该网站有三个目次对搜索引擎网站的过访做了限止,即robot不会过访这三个目次。需求注意的是对每一个目次务必分开声明,而不可以写成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 
例7.准许过访特别指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 
例8.运用"*"限止过访url 严禁过访/cgi-bin/目次下的全部以".htm"为后缀的URL(里面含有细目录)。User-agent:* Disallow:/cgi-bin/*.htm 
例9.运用"$"限止过访url 仅准许过访以".htm"为后缀的URL。User-agent:* Allow:/*.htm$ Disallow:/ 
例10.严禁过访网站中全部的动态页面User-agent:* Disallow:/*?* 
例11.严禁Baiduspider抓取网站上全部图片 仅准许抓取网页,严禁抓取不论什么图片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$ 
例12.仅准许Baiduspider抓取网页和.gif款式图片 准许抓取网页和gif款式图片,不准许抓取其它款式图片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$ 
例13.仅严禁Baiduspider抓取.jpg款式图片User-agent:Baiduspider Disallow:/*.jpg$ 
robots常见用处
 
免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。 汇能之窗网对此不承担任何保证责任, 汇能之窗网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。

本文地址:http://www.wlchinahn.com/news/SEOyouhua/201712/5483.html

打赏
 
更多>同类资讯

推荐图文
推荐资讯
点击排行

网站首页  |  付款方式  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  积分换礼  |  RSS订阅  |  违规举报  |  粤ICP备11090451号

免责声明:本站所有信息均来自互联网搜集,产品相关信息的真实性准确性均由发布单位及个人负责,请大家仔细辨认!并不代表本站观点,汇能之窗网对此不承担任何相关法律责任!如有信息侵犯了您的权益,请告知,本站将立刻删除。