51Testing软件测试论坛

标题: 编写简单Robot.txt [打印本页]

---

作者: 测试积点老人    时间: 2019-1-3 15:36
标题: 编写简单Robot.txt

编写Robot.txt的目的主要是问了限制搜索引擎爬虫对网页的爬取，告知爬虫不要 爬取该网页。

禁止爬虫爬取的单位一般是目录，即不容许爬虫爬取整个目录下的文件，此时robot.txt的

书写方法如下：

User-agent:爬虫名称

Disallow:/css/

Disallow:/temp/

几个搜索引擎的爬虫名称：

1. 搜索引擎名称               爬虫名称
   
2. 
   
3.             Google                        Googlebot
   
4. 
   
5.             Baidu                          Baiduspider
   
6. 
   
7.             MSN                            MSNBOT

复制代码

如果只是禁止某一个网页被爬取,可以在一个网页中添加如下内容：

<meta name="robots" content= "noindex">

如果不希望爬虫爬取网页所包含的链接，可以添加以下内容：

<meta name="robots" content="nofollow">

---

作者: Miss_love    时间: 2021-1-5 14:52
支持

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2