Robots在网站优化中的使用 _供求信息发布

yuli001520a2

Robots在网站优化中的使用  _供求信息发布
在我们进行网站优化的过程中，我们必须要掌握的技能就是对于一些常见的网站协议和操作，其中关于robots的使用就是一个重要的部分。
什么是robots
Robots是网站与搜索引擎之间达成的一个协议，这里需要强调的是robots只是一个协议，而不是一个命令，因此我们会发现及时我们在设置好了robots之后很多的相关指令还不能马上得到执行，需要一个生效时间。
Robots的构成
Robots中主要有三个主要的指令构成：User-agent、Allow、Disallow这个三个指令构成，他们分别只的是：User-agent指的是对搜索引擎的限制,北京免费发布信息网，Allow指允许搜索引擎的访问，Disallow指的是禁止搜索引擎的访问，google蜘蛛：googlebot，百度蜘蛛：baiduspider。
如：User-agent: baiduspider
Allow: /
Disallow: /jiaqitong/
这个robots的命令就是说对百度搜索引擎来说，允许访问根目录下所有文件，禁止访问/jiaqitong/文件夹下面的文件。
通配符也是robots中重要的组成部分，有$和*两种通配符。
Robots的使用
我们在使用robots的过程中首先我们要书写规范：如首字母的大写,信息发布网站，英文冒号，冒号后面的空格等，这些我们都要遵守，以保证我们robots文件的有效性。
Robots在使用的时候主要是用于禁止一些无内容或者我们不想让搜索引擎爬去的页面，如后台登录页面和死链接等。
如何正确的使用robots是我们作为seo必须要掌握的技能，因此我们必须要知道什么是robots和如何让进行robots的使用。

该文章由 免费发布信息的网站http://www.11soso.com站长推荐!