日志样式

robots文件怎么写

  robots文件怎么写?关于robots相信大家都了解,我们之前有介绍过网站robots文件是干嘛的,看过的朋友肯定对于robots文件的含义以及作用都理解了,可能对于robots文件的写法肯定还不太懂,今天就为大家介绍robots文件怎么写。

  首先给大家看一个dedecms的robots默认写法:

  User-agent: *
  Disallow: /plus/ad_js.php
  Disallow: /plus/advancedsearch.php
  Disallow: /plus/car.php
  Disallow: /plus/carbuyaction.php
  Disallow: /plus/shops_buyaction.php
  Disallow: /plus/erraddsave.php
  Disallow: /plus/posttocar.php
  Disallow: /plus/disdls.php
  Disallow: /plus/feedback_js.php
  Disallow: /plus/mytag_js.php
  Disallow: /plus/rss.php
  Disallow: /plus/search.php
  Disallow: /plus/recommend.php
  Disallow: /plus/stow.php
  Disallow: /plus/count.php
  Disallow: /include
  Disallow: /templets

robots文件怎么写

  我们就可以从这个文件写法去学习robots文件该怎么写,首先第一行User-agent是用来描述搜索引擎蜘蛛的名字,其中百度蜘蛛:Baiduspider、google蜘蛛:Googlebot、360蜘蛛:360Spider或HaosouSpider、搜狗蜘蛛:Sogou+web+spider/4.0等;

  如果是针对某一个搜索引擎的蜘蛛,那么写法就应该是User-agent: Baiduspider或者是User-agent: Googlebot。而dedecms默认的写法User-agent: *就表示适用任何蜘蛛,*在robots内表示通配符。

  Disallow表示禁止蜘蛛爬取,比如

  User-agent: Baiduspider

  Disallow: /web/

  则表示对于百度蜘蛛禁止抓取web目录,禁止或允许的目录一行一个,不可接在后面书写。

  对应的Allow就表示允许抓取,比如

  User-agent: *

  Allow: /web/

  则表示允许所有的蜘蛛抓取web这个目录。

  如果不允许所有的蜘蛛抓取整个网站,就直接这样写:

  User-agent: *

  Disallow: /

  但需要注意的是,这样写蜘蛛依然会访问网站首页,搜索引擎依然会收录网站首页,只不过对于网站的内页不在抓取,也不会收录。当然,允许所有蜘蛛抓取网站所有的页面,那么就直接将robots文件内空白即可。
robots文件怎么写

  另外,需要注意的是robots的读取顺序是由上到下的,所以在写robots抓取规则的时候,要注意包容与被包容的关系。比如web目录下有一个A目录和B目录以及其他目录,我只要蜘蛛抓取A目录,不抓取其余目录该怎么写呢?如下:

  User-agent: *

  Allow: /web/A/

  Disallow: /web/

  要注意包容与被包容对应的前后顺序,如果顺序写反了,那么就不能抓取到对应的目录了,也起不到robots该有的效果了。

  关于robots文件怎么写,今天就先为大家介绍到这里,大家关于网站排名优化有什么问题或新的收获,可与我一起讨论分享。

本文地址:https://www.cdwenhua.cn/jiqiao/35.html