在的过程中，有时我们会有一些重要及私密的内容，并不希望这些页面被搜索引擎蜘蛛抓取，比如后台的数据、测试阶段的网站，还有一种很常见的情况，搜索引擎抓取了大量没有意义的页面，如电子商务网站按照各种条件过滤、筛选的页面等，那么要确保页面不被抓取需要使用robots文件。

robots.txt是一个纯文本文件，我们用来告诉各个搜索引擎网站中不想被蜘蛛抓取或访问的部分，当蜘蛛访问一个站点时，它会先检查该站点是否有robots. txt文件，一般我们放在根目录下，如果找到，蜘蛛就会根据文件中的内容来确定要抓取的范围，如果这个文件不存在，那么蜘蛛就会继续沿着链接去抓取，也就是只有要禁止抓取某些内容时，写robots文件才有意义。

robots.txt通常我们放在站点的根目录，我们应该都知道，这里不多做解释，文件名要全部小写，如果你想查看网站的robots协议，直接在域名后面加上robots.txt回车即可，下面介绍robots的语法。

robots文件的常用语法有3种，分别是 User-agent、Alow、Disallow，下面是具体用法。

(1) User-agent
指定robots.txt中的规则针对哪个搜索引擎蜘蛛，如果针对所有搜索引擎蜘蛛的写法是 User-agent：*，通配符*代表所有搜索引擎。如果只是百度蜘蛛，那么正确写法是 User-agent:：Baiduspider，不同的搜索引擎蜘蛛的名称也不相同。

(2) Allow
允许蜘蛛抓取某些文件，比如允许蜘蛛访问网站中的news目录，正确写法是：Allow：/news/。
$：表示匹配URL结尾的字符，比如允许蜘蛛抓取以.html为后缀的URL，写法是：Allow：html$。

(3) Disallow
告诉搜索引擎蜘蛛不要抓取这些文件或目录，比如禁止蜘蛛抓取/admin/目录的写法是：Disallow：/admin/。
而禁止的目录或文件也要分开写，每个单独一行，比如禁止所有的搜索引擎蜘蛛抓取a、b、c目录，正确的写法如下：
User-agent：*
Disallow：/a/
Disallow：/b/
Disallow：/c/

作为一名合格的SEO人员，我们还是要熟练掌握robots.txt的基本语法，现在站长工具也很方便，直接在线通过选项生成robots文件，再传上根目录即可。