编写简单Robot.txt

测试积点老人

编写Robot.txt的目的主要是问了限制搜索引擎爬虫对网页的爬取，告知爬虫不要 爬取该网页。

禁止爬虫爬取的单位一般是目录，即不容许爬虫爬取整个目录下的文件，此时robot.txt的

书写方法如下：

User-agent:爬虫名称

Disallow:/css/

Disallow:/temp/

几个搜索引擎的爬虫名称：

1. 搜索引擎名称               爬虫名称
   
2. 
   
3.             Google                        Googlebot
   
4. 
   
5.             Baidu                          Baiduspider
   
6. 
   
7.             MSN                            MSNBOT

复制代码

如果只是禁止某一个网页被爬取,可以在一个网页中添加如下内容：

<meta name="robots" content= "noindex">

如果不希望爬虫爬取网页所包含的链接，可以添加以下内容：

<meta name="robots" content="nofollow">

Miss_love

支持