欢迎访问深圳市智码联动科技有限公司官方网站!
全国服务热线:152-1949-0811

您当前所在位置:网络推广>>网络推广知识

网站seo优化之robots写法说明教程

发布时间:2019-09-20 14:13:59 作者:智码联动

网络:网站seo优化之robots写法说明教程

  robots协议能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径,为我们站长做好seo创造必要的条件。尤其是我们的网站刚刚创建,有些内容还不完善,暂时还不想被搜索引擎收录时。

  robots.txt文件是网站的一个纯文本文件,它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。

  robots.txt文件应该放在网站根目录下。

  在一个站点上只能有一个"/robots.txt"文件,而且文件名的每个字母要求全部是小写。

网站seo优化之robots写法说明教程

  robots.txt文件用法举例

  例1.禁止所有搜索引擎访问网站的任何部分

  下载该robots.txt文件User-agent:*

  Disallow:/

  例2.允许所有的robot访问

  (或者也可以建一个空文件"/robots.txt"file)

  User-agent:*

  Disallow:

  例3.禁止某个搜索引擎的访问

  User-agent:BadBot

  Disallow:/

  例4.允许某个搜索引擎的访问

  User-agent:baiduspider

  Disallow:

  User-agent:*

  Disallow:/

  一个简单例子

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

  需要注意的是对每一个目录必须分开声明,而不要写成"Disallow:/cgi-bin//tmp/"

  User-agent:后的*具有特殊的含义,代表"anyrobot",所以在该文件中不能有"Disallow:

  /tmp/*"or"Disallow:*.gif"这样的记录出现.

  User-agent:*

  Disallow:/cgi-bin/

  Disallow:/tmp/

  Disallow:/~joe/