测试积点老人 发表于 2019-1-3 15:36:15

编写简单Robot.txt

编写Robot.txt的目的主要是问了限制搜索引擎爬虫对网页的爬取，告知爬虫不要 爬取该网页。禁止爬虫爬取的单位一般是目录，即不容许爬虫爬取整个目录下的文件，此时robot.txt的书写方法如下：User-agent:爬虫名称Disallow:/css/Disallow:/temp/几个搜索引擎的爬虫名称：搜索引擎名称               爬虫名称

            Google                        Googlebot

            Baidu                        Baiduspider

            MSN                            MSNBOT如果只是禁止某一个网页被爬取,可以在一个网页中添加如下内容：<meta name="robots" content= "noindex">如果不希望爬虫爬取网页所包含的链接，可以添加以下内容：<meta name="robots" content="nofollow">

Miss_love 发表于 2021-1-5 14:52:01

支持
页: [1]
查看完整版本: 编写简单Robot.txt