标签：robots

2015-03-09minnaseo阅读(965)赞(0)

那么我们得先来了解一下robots.txt文件是什么，有什么作用。   当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”   蜘蛛在爬去网站页面之前，首先会去访问网站根目录下面的一个文件，就是robo...