闽南SEO | 一个专注于SEO优化的草根自媒体

标签:robots

SEO优化

怎么样写robots

阅读(224)评论(0)

那么我们得先来了解一下robots.txt文件是什么,有什么作用。   当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”   蜘蛛在爬去网站页面之前,首先会去访问网站根目录下面的一个文件,就是robo...